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Введение . 


В 1965 году А.Н.Колмогоров ввел понятие сложности, или 
энтропии 35 ) конечного объекта (см. [~?~\ , [ 8 ] ). Говоря нефор¬ 
мально, энтропия объекта есть количество двоичных знаков, 
необходимых для описания (задания, определения) этого объекта. 
Разумеется, это количество зависит от выбора ' способа описания; 
таким образом, каждому способу описания соответствует своя фун¬ 
кция сложности. Открытие Колмогорова как раз и состояло в том, 
что при естественном определении понятия "способ описания" сре¬ 
ди всех таких способов существует оптимальный - такой, при ко¬ 
тором сложность объектов меньше, чем цри любом другом ( с точ¬ 
ностью до ограниченного слагаемого). Если имеются два разных 
оптимальных способа описания, то соответствующие им сложности 
отличаются, очевидно, на ограниченное слагаемое. Таким образом, 
возможно дать не зависящее от выбора способа описания оцреде- 
ление энтропии конечного объекта как его сложности при оптималь¬ 
ном способе описания. Введенную Колмогоровым энтропию мы будем 
называть простой колмогоровской энтропией. 

Позднее были предложены другие варианты понятия энтропии 
конечного объекта - сложность (энтропия) разрешения (см. {У| ), 
префиксная энтропия, монотонная энтропия (о двух последних см. 

И ). Хотя эти понятия основаны на родственных идеях - все 
они тем или иным способом уточняют описанный выше замысел Кол¬ 
могорова,- их формальные определения никак не были связаны 
друг с другом. Ниже предлагается некоторая общая схема, част- 

х) Мы предпочитаем термин "энтропия", чтобы избежать смешения 
со "сложностями вычисления" (временной, емкостной и т.п.) 
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ными случаями которой являются все перечисленные (а также 
некоторые другие) варианты определения понятия энтропии ко¬ 
нечного объекта. 

Эта схема использует понятие -пространства в смысле 
Ю.Л.Ершова [4] . Понятие -пространства является чрезвы¬ 
чайно удобным средством для определения вычислимости отобра¬ 
жений, область оцределения которых состоит из объектов более 
сложной природы, чем натуральные числа (функций, последова¬ 
тельностей и т.д.). Поясним это понятие на следующем важном 


примере. 

Пусть мы имеем отображение СЪ , область определе¬ 
ния которого состоит из (частичных) функций из /Л/ в /|У . 
Пусть это отображение в каком-то смысле вычислимо. Естественно 


считать, что к любому моменту процесса вычисления значения 
ОС на функции используется не вся информация о ^ 

(ибо как может алгоритмический процесс успеть использовать 
бесконечно много информации об ^ ?!), а лишь конечное чис¬ 
ло равенств вида ^[(х) -= . Другими словами, значение ото¬ 

бражения 01 на функции ^ определяется значениями это¬ 
го отображения на конечных частях ^ . Ясно также, что 

по мере увеличения использованной информации об будет 
получаться все больше и больше информации о результате при¬ 
менения Сі к ^ (если этот результат также является фун¬ 
кцией, то будут становиться известными ее значения во все 
большем числе точек). 


Эти соображения показывают, что при определении поня¬ 
тия вычислимости для функций из некоторого множества X 
в другое множество У в множествах X и V естествен¬ 


но выделять "конечные” элементы (в примере - функции с конеч¬ 
ными областями оцределения) и вводить отношение "элемент а 1 



° / 
информативнее элемента и " (в примере - функция ^ про¬ 
должает функцию ^ ). Более формально, ^ -пространством 
называется множество X , в котором введено отношение час¬ 
тичного порядка X 5 ос' . (читаемое " 'Х / информативнее ох " 
" ос 1 продолжает ос " или " *х есть часть л: 7 ") и выде- 
лено некоторое подмножество Х„ , элементы которого 
называются конечными, причем выполнены некоторые свойства 
(см. п. І.І). В нашем примере У\ есть множество всех 
(частичных) функций из ]Д/ в /А/ с указанными выше под¬ 
множеством конечных элементов и отношением "быть более инфор¬ 
мативным". Высказанные выше соображения можно теперь, с по¬ 
мощью понятия ~^ а -цространства, сфорцулировать более точно: 
вычислимое отображение из ^ -цространства X в 
-^-пространство У должно быть монотонным (т.е. X < У 1 =$ 
ОіЫ < Оі(ос 1 ) ) и значение 01 на ос должно опреде¬ 
ляться значениями 01 на конечных частях ос , т.е. на тех 
Х с е Х‘о , дяя которых ос 0 ^х . См. об этом подробно в 
пп. 1.4 и 1.5. 

Другая важная идея, которую использует описываемая схе¬ 
ма определения энтропии - идея интерпретации операций логи¬ 
ки высказываний (конъюнкции, дтзъюнкции, импликации) как 
операций не над утверждениями, а над задачами. Эта идея была 
предложена А.Н.Колмогоровым в [?з] и уточнена впоследствии 
Ю.Т.Медведевым в [р] . Говоря неформально, задача определяет¬ 
ся двумя множествами - множеством )( "возможных решений" 
задачи и его подмножеством А - подмножеством "действи¬ 
тельно решений". Например, задачу "перечислить все элементы 
множества (^с(М " можно рассматривать как пару таких мно¬ 
жеств: множеством возможных решений считается множество, всех 
последовательностей натуральных чисел, а действительными ре- 
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шениями считаются те последовательности И і-» , для кото¬ 
рых = . Можно сказать, что задача 

есть задача "отыскания среди элементов X элемента, при¬ 
надлежащего Д ". 

Наш вариант уточнения понятия задачи отличается тем, 
что в нем используются ^ ь -пространства в качестве мно¬ 

жеств возможных решений и соответствующим образом оцрѳделяют- 
ся операции над задачами. 

Опишем в общих чертах предлагаемую схему определения 
энтропии. Цусть имеются два ^ 0 - пространства - X и ^ • 
Элементы первого мы будем считать описаниями (кодами), а 
элементы второго - описываемыми (кодируемыми) объектами. 

Пусть на множестве конечных объектов пространства У введена 
функция объема (сопоставляющая каждому конечному объекту 
некоторое число). Способами описания будем считать вычисли¬ 
мые (в смысле, описываемом в 1.5) отображения : X —*У. 
Сложность задачи У V, АУ в пространстве У при спосо¬ 
бе описания / определяется как минимальный среди объемов 
тех описаний ос<^Х ь , для которых 
При некоторых условиях на пространство X (см. п. 2.3) 
среди всех способов описания существует оптимальный; слож¬ 
ность задачи; < У АУ при оптимальном способе описания 
мы и назовем энтропией этой задачи. Если X и У выбраны 
из числа пространств /|\У и 5 ? (цространства натуральных 
чисел и пространства последовательностей нулей и единиц, 
описание которых дано в 1.2), возможны четыре варианта, изо¬ 
браженные в таблице: 



-7- 


пространство описы¬ 
ваемых объектов 

іространство 

описаний 

Мх 

.2 

Их 

к 

к Р 

2 

КР 

КН 


В ней указано, каким из упоминавшихся выше вариантов понятия 
энтропии соответствует возникающее при дан ных пространствах 
описываемых объектов и описаний понятие энтропии задачи: 

К - простая колмогоровская энтропия, ІСР - энтропия 
(сложность) разрешения, КР — префиксная энтропия, К М 
- монотонная энтропия. 

В работе исследуются свойства описанной схемы. Устанав¬ 
ливается ее связь с интуиционистской логикой высказываний. 

С точки зрения этой схемы исследуется также понятие априорной 
вероятности. Дадим теперь более подробный обзор содержания 
работы. 

Глава I носит вспомогательный характер и содержит поня¬ 
тия и результаты, в основном не являющиеся новыми (см. р ] ). 
Мы сочли нужным поместить здесь этот материал, т.к. изложе¬ 
ние его в виде, используемом в последующих разделах, в лите¬ 
ратуре отсутствует. Эта глава посвящена понятию -простран¬ 
ства и связанным с ним конструкциям. 

В п. І.І дается определение -пространства и вводит¬ 
ся связанныя с ним терминология. Именно, -пространством на¬ 
зывается тройка ^ X , <. у Х с ^ ( X “ некоторое множество, 
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^ - частичный порядок на нем» Х 0 - некоторое подмно¬ 

жество множества X ), обладающая определенными свойствами 
(см. подробнее п. І.І). Элементы множества X называются 
объектами, отношение х < х* читается *' X 1 продолжает хс" 
или " х есть часть х 1 ", объекты, входящие в X д , называ¬ 
ются конечными. Наименьший в смысле введенного порядка объект 
называется неопределенностью и обозначается -і- . 

В п. 1.2 строятся основные примеры /„-пространств, су¬ 
щественные для дальнейшего. Среди них - уже упоминавшиеся 
пространства /ТѴд (натуральных чисел) и (последова¬ 

тельностей нулей и единиц). 

В п. 1.3 вводится понятие полного / 0 -пространства и 
показывается, что всякое -пространство можно рассматри¬ 
вать как часть полного. Это позволяет в дальнейшем ограничить¬ 
ся рассмотрением полных пространств. Доказываются свойства 
полных пространств, используемые далее. 

В п. 1.4 вводятся операции над /> -пространствами. 

Именно, для любых двух цространств X и У определяются 
пространства X *X (произведение), Х-+- У (сумма) 
и У) (пространство непрерывных функций из X в V ). 

Для определения непрерывности в / с -пространствах вводится 
топология. Дается простой критерий непрерывности функции (лем¬ 
ма 4). Устанавливается, что непрерывную функцию можно задать, 
указав ее значения на конечных объектах. Устанавливаются 
естественные изоморфизмы 

СО, С (У, 2)) Л С(Х.хѴ;~2) 

с(%> С(Х,Ѵ) X С(Х,Ю 

Чтобы определить понятие вычислимого объекта,в /^-про¬ 
странстве нужно ввести дополнительную структуру, занумеровав 
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все конечные объекты этого пространства натуральными числами. 
Пространство, снабженное такой нумерацией, называется эффек¬ 
тивным -пространством, если выполнены некоторые естест¬ 
венные требования; соответствующие определения даются в 1.5. 

В этом же пункте показано, как ввести структуру эффективного 
пространства в » Х+'Ѵ , С (X ) У ) (если 

X и ^ - э ффективные пространства), а также в ^ -про¬ 
странствах, указанных в п. 1.2. 

В эффективных пространствах вводится понятие вычислимого 
объекта. Вычислимые объекты пространства С(Х,Ѵ) естествен¬ 
но рассматривать как вычислимые отображения из X в У . 

Они используются для определения относительной вычислимости: 
объект у&У называется вычислимым относительно объекта хбХ 
если существует вычислимый объект ^ 6 С(Х , У) , для которо¬ 
го = у • В п. 1.5 показывается, каким образом изве¬ 

стные варианты понятия относительной вычислимости становятся 
частными случаями этой схемы. Устанавливается используемое 
в дальнейшем (цри доказательстве утверждения о существовании 
оптимального способа описания) предложение о перечислимости 
множества всех вычислимых объектов (предложение I). 

Наконец, в п. 1.6 на рассмотренных пространствах вводит¬ 
ся объем.. 

Этим завершается изложение необходимых'сведений об эффек¬ 
тивных полных Уь -пространствах (называемых в дальнейшем 
для іфаткости просто пространствами). 

Б главе 2 определяется понятие задачи, среди всех задач 
выделяются разрешимые, которые и классифицируются по "трудно¬ 
сти решения” с помощью понятия энтропии. 
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- В п. 2.1 дается определение понятия задачи. Именно, 
задачей называется пара <^Х , А^> * где X - пространство, 

а А ^ X . Среди задач выделяются монотонные (те, у ко¬ 
торых любое продолжение решения является решением) и разре¬ 
шимые (те, у которых среди решений есть вычислимые). 

В п. 2.2 уточняется понятие способа описания объектов 
пространства V с помощью объектов пространства X - та¬ 
кими способами считаются вычислимые объекты цространства 
ССХ,Ѵ) . Если на X задан объемѣ фиксирован способ 
описания ^ € С(Х } Ѵ) , то можно определить сложность за¬ 
дачи <^У ) Ау цри способе описания как 

Ы/ *{ &( х ) | ‘ ос - конечный объект X , ^ А}. 

В п. 2.3 даны условия на пространство X » необходимые 
и достаточные для того, чтобы для любого пространства У среди 
5 всех способов описания из С(Х^У) существовал оптимальный. 
Пространства X с объемом 4 , обладающие таким свойством, 
называются регулярными. Пусть X - регулярное пространство. 
Сложность задачГ в пространстве У при оптимальном способе 
описания мы называем энтропией (точнее, X -эн¬ 

тропией) . Произвол в выборе оптимального способа описания 
влечет за собой то; г г что энтропия определена с точностью до 
ограниченного слагаемого. Энтропия задачи оказывается конечной 
в том и только том случае, когда эта задача разрешима (пред¬ 
ложение 2) 

В п. 2.4 приводятся примеры регулярных пространств с 
объемом ( Мл , Я , о ). Каждому из них соответству¬ 
ет свой вид энтропии. 

Их сравнению посвящен п. 2.5. Именно, там дается ответ 
на следующий вопрос. Пусть Х^ и Хг “ два регулярных про¬ 
странства. В каком случае для любой задачи выполнено 
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неравенство 

-энтропия X ) ^-энтропия х) ? 

(Более точную постановку вопроса, учитывающую то, что энтропия 
определена с точностью до ограниченного слагаемого, см. далее) 
Ответ на этот вопрос дается предложениями I и 2. С их помощью 
сравниваются пространства /Ѵа.5 и г,. 

В п. 2.6 сравниваются, напротив, энтропии задач в раз¬ 
ных пространствах при одном и том же пространстве описаний. 

Глава 3 посвящена связи между понятием задачи и интуици¬ 
онистской логикой высказываний. 

В п. 3.1 определяются (в духе идей Колмогорова [/&] , 
развитых Медведевым [3] ) логические операции над задачами 
(конъюнкция, дизъюнкция и импликация). Говоря неформально, 
возможными решениями задачи Д ^ считаются пары 
^возможное решение задачи оі , . возможное решение задачи 
а решениями - те пары, оба члена которых действительно являют¬ 
ся решениями соответствующих задач. Возможными решениями за¬ 
дачи ѵ р считаются все возможные решения задачи оі , 
все возможные решения задачи р и объект X ; решениями 
считаются решения любой из задач Я и ^ . Возможными реше¬ 
ниями задачи ^ (3 считаются непрерывные (в этом главное 
отличие от [з] ) функции, переводящие возможные решения зада¬ 
чи оС в возможные решения задачи [3 ; функция ^ будет 

считаться решением, если для любого решения х задачи оі 
объект ^(Х) будет решением задачи ^ . Ложь интерпретиру¬ 
ется как задача, у которой множество решений пусто, а мно¬ 
жество возможных решений одноэлементно. 

В п. 3.2 рассматриваются энтропии задач о^(3 , 
и оі р . Выясняется, что энтропия задачи Хѵр> определя¬ 
ется энтропиями задач Хи б . Исследуются энтропии 
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задач У ("энтропия пары") и <Х.°(3 ("условная энтропия 
(3 при известном "). 

В п. 3.3 определяется интерпретация интуиционистской 
логики высказываний с помощью задач. Именно, пусть 
Ф( 'рз-) - /'Ян') - формула логики высказываний, 

- < X 4/ - задачи. Тогда в соответст¬ 

вии с описанной интерпретацией конъюнкции, дизъюнкции и импли¬ 
кации возникает задача Ф (V... у °*-к) . Легко видеть, что 

множество возможных решений этой задачи зависит только от 
пространств X і (но не от множеств А і )♦ Оказывается, 
что если Ф - выводимая в интуиционистской логике выска¬ 
зываний формула, то в этом пространстве найдется вычислимый 
объект ос , являющийся решением задачи Ф 
при любых А ± , . „ ч ; А ^ . (Это утверждение является ана¬ 

логом известного результата Ю.Т.Медведева [.9]) 

В п. 3.4 из этой теоремы выводится ряд неравенств для 
энтропии некоторых задач (предложение I и его следствия). 

В п. 3.5 исследуется логика задач, то есть множество 
(5 формул, общезначимых в описанном смысле. Как уже гово¬ 
рилось, множество Н выводимых в интуиционистском исчисле¬ 
нии высказываний формул является подмножеством (X , которое 
в свою очередь является подмножеством множества С пропо¬ 
зициональных тавтологий. Устанавливается, что оба включения 
Н <2 (3 и (X с С - строгие. 

Глава 4 посвящена дальнейшему исследованию введенного 
понятия энтропии. В п. 4.1 показано, каким образом различ¬ 
ные известные варианты понятия энтропии (простая колмогоров¬ 
ская энтропия [?] , условная колмогоровская энтропия [V] , 
энтропия (сложность) разрешения [с] , префиксная энтропия [2] , 
монотонная энтропия [1] , номер частично рекурсивной функции 
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в оптимальной нумерации [йеЙД ) включаются в описанную 
схему. 

В п. 4.2 показывается, каким образом многочисленные не¬ 
равенства, связывающие различные виды энтропии, могут быть 
получены как следствия доказанных в главе 2 общих теорем. 

Доказывается, что некоторые оценки, связывающие четыре вари¬ 
анта энтропии из приведенной выше таблицы ( К , «Я, КР , КМ ) 
нельзя улучшить. 

В п. 4.3 с точки зрения нашей схемы исследуется понятие 
априорной вероятности (см. ). Именно, для каждой зада- 

чи <(Х ? АР и для каждого Способа описания ^ е С(52;Х) 
объектов пространства X с помощью двоичных последователь¬ 
ностей определяется число Р^> (<Х,А>) - вероятность того, что 
случайно взятая из 5 ? последовательность будет описанием 
решения задачи <( Х ; А^> . Среди всех способов описания суще¬ 
ствует оптимальный - тот, при котором Р^. максимальна (с 
точностью до ограниченного множителя). Функция при опти¬ 
мальном / и называется априорной вероятностью. В простран¬ 
ствах Д4 и 2 она совпадает с так называемой максимальной, 
перечислимой мерой (см. 0]^ ). Мы доказываем, что анало¬ 

гичное свойство выполнено для всех пространств, в которых 
множество конечных объектов является деревом. Это условие 

существенно: в п. 4.3 приводится пример,"показывающий, что 

г" 1 " 

в пространстве а, априорная вероятность не является макси¬ 
мальной перечислимой мерой. 
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Глава I. Понятие іо -пространства и его свойства . 

/ 

В этой главе определяется понятие ^ -пространства, 
строятся примеры -цространств, существенные для дальнейшего, 
и описываются простейшие конструкции, позволяющие получать но¬ 
вые -пространства из уже имеющихся. В ней также вводятся 
понятия полного ^-пространства, эффективного ^-пространства, 
вычислимого объекта и доказываются связанные с этими понятиями 
утверждения, необходимые в дальнейшем. 

Последний пункт главы определяет понятие объема на 
4с -пространстве, играющее в дальнейшем важную роль. 



Цусть заданы множество )( с частичным порядком ^ на 
нем и подмножество Х 0 С X • Трсшка Х с <1^ называется 

0 -пространством, если выполнены следующие свойства: 

(1) В X существует наименьший (в смысле частичного 
порядка на X ) элемент. Этот элемент (обозначаемый _1_ ) 
принадлежит X 0 . 

(2) Если ,РС<'^,^^Н,то 

х и ^ имеют в X точную верхнюю грань , 

лежащую в Х 0 : для всех X утверждения (э с 
и 4ир(х,ч) г. і: равносильны. 

(3) Если и , то существует эс й бХ 0 » 

для которого эс 0 і х и Х с ^ ^ . 

Пусть X , Х 0 - ^-пространство; элементы мно¬ 
жества X мы будем называть объектами этого пространства, 
запись х<^ 

"объект тс есть часть объекта у. " ; объекты, входящие в 
х 0 , будем называть крнечныгли. Объект X- мы будем назы¬ 
вать неопределенностью. Объекты х, и , для которых суще¬ 
ствует такой объект 2. , что X ^ 2 и ^ 4 г* , мы будем 
называть совместными. . 


читать "объект 


объект тс " или 






В этом пункте мы построим некоторые ^-пространства, 
которые будут полезны нам в дальнейшем. 

1.2.1 . Простейшее -пространство состоит из единствен¬ 
ного элемента _і_ . 

1.2.2 . Пространство X = •{ 1_ -К-} , 

Х 0 — X » порядок таков: X < • 

1.2.3 . Пространство натуральных чисел, 0 і. 2- 3 9 
дополненных объектом X ; в нем 

Х = -Ім, О, 1, г 

Х 0 - X , порядок таков: X ^ /и для всех 11' = О, I, 2,... 
и других неравенств нет. Это пространство мы будем обозначать 

1.2.4 . Пространство конечных и бесконечных последова¬ 
тельностей 0 и I. В этом пространстве объекты - конечные и бес¬ 




конечные последовательности 0 и I, X- < ^ , если последова¬ 
тельность ос~ является началом последовательности , 


конечными объектами являются конечные последовательности. 

Это пространство мы будем обозначать .52 . В нем обозначение 

2- получает пустое слово. 

1.2.5 . Пространство подмножеств «V . Объектами являются 


подмножества 


Х<3 


означает х^ 1 


конечные объекты 


суть конечные множества. Это пространство мы будем обозна- 

оПѴ 

чать 1 


1.2.6 . Пространство частичных функций натурального аргу¬ 

мента со значениями 0 и I. Его объектами являются частичные 
функции из IX/ в {О,!*} , у есть продолжение ос, 

конечными объектами являются функции, области определения ко- 

I— і 

торых - конечные множества. Это пространство мы обозначим С, . 

1.2.7 . Заменив в цримерах 1.2.4 и 1.2.6 множество 



{о / іу на множество Ш (т. е. рассматривая последовательно¬ 
сти натуральных чисел и функции из ІА/ в /IV ), мы приходим 
к пространству $ конечных и бесконечных последовательно¬ 
стей натуральных чисел и к пространству !Р частичных функций 
из /Л/ в /М . 

1.2.8 . Любую верхнюю полурешетку с наименьшим элементом 
(частично упорядоченное множество, в котором любые два элемен¬ 
та имеют точную верхнюю грань и есть наименьший элемент) мож¬ 
но превратить в / 0 -пространство, объявив конечными все объ¬ 


екты. 
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1.3. Полные —пространства . 


В этом пункте мы изучим цростейшие свойства ^-простран¬ 
ств; в частности, будет введено понятие полного ^-пространства. 

Пусть дано ^ -пространство Х с ^У Назовем 

множество 1<^)( 0 вдеалом, если выполнены следующие свойства: 

(а) і. непусто; 

(б) если у, і 4 Х 0 , Ъ , 2 СІ % то ^ бХ ; 

(в) есж 2 6 X , то у и 2. совместны и . 


Сопоставим каждому объекту Хб X множество X 
его конечных частей: 


всех 


± х = ^ !*■ - х > 


■^с 

Справедлива следующая цростая 

Лемма I . Множество 1 Х является идеалом. ^ 

Таким образом, каждому элементу х сопоставлен неко- 
торый идеал . 


Лемма 2. (а) 


X <=> І Х СІ 


* 


(б) X - .1 ^ 

Доказательство , (а) Если эс<:^. , то, очевидно, і^сХ^ 
Если же х ^ , то по. свойству (3) определения ^-прост¬ 
ранства (І.І) существует » для которого 

. Поэтому 

(б) Цусть "2 - верхняя грань X*.. Докажем, что х . 
Если это не так, то существует X 0 <: а;, для которого ф 2. , 
что противоречит предположению о том, что 2 -верхняя грань 
множества Л* • ^ 

Назовем -^-пространство полным, если 

всякий идеал в нем равен 1 Х при некотором х е X . Рассмот¬ 
ренные в 1.2 4 -цространства, как легко цроверить, полны. 

'■'О 

Частично упорядоченное множество Х 0 конечных объектов 
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конечных объектов С 0 -пространства ( X , X обладает, 

очевидно, следующими свойствами: 

(а) В Х 0 существует наименьший элемент. 

(б) Если х , ^ , У: - элементы Х 0 , * ^ г , ^ , 

то х и у, имеют (в Х 0 ) точную верхнюю грань. 

Оказывается, что верно и обратное утверждение: всякое 
частично упорядоченное множество, обладающее свойствами (а) 
и (б), может быть единственным образом расширено до полного 
^-пространства. Чтобы сформулировать это утверждение точно, 
нам понадобится следующее определение. 

Щ-сть <Х, Хо, -два ^-пространстве 

Отображение ^ : X ~^Ѵ назовем изомор^ізмом ^ с -цространств, 
если / является взаимно однозначным отображением X на 
У , сохраняющим порядок, при котором = К . 

Предложение I (о пополнении) . Пусть <( Х 0/ частично 
упорядоченное множество, обладающее свойствами (а) и (б). 

Тогда: 

1. Существует полное пространство < X, Х 0 .<> , для 
которого Х 0 является множеством конечных объектов, а поря¬ 
док на X продолжает исходный порядок на К 0 • 

2. Такое пространство единственно с точностью до изомор¬ 
физма ^-пространств, тождественного на Х 0 • 

3. Любое (не обязательно полное) -/^-пространство, множе¬ 
ством конечных объектов которого является X с 7 изоморфно части 
упомянутого полного пространства, причем изоморфизм тождестве¬ 
нен на Х о . (Заметим, что если <(Х,Х 0 .у>- -^-пространство, 

X - любое множество, для которого Х 0 с X 'с X , то 
х\ Х 0 ^ У также является ^-пространством, которое мы на¬ 
зываем ч астью пространства <^Х У Х а <У •) 

Доказательство . Рассмотрим семейство всех идеалов в час- 
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тично упорядоченном множестве Х 0 , то есть семейство 
ди - { і^і (ѵл 6 і)(ѵ^іэс)(^<ьі) & і/ 

СѴъ,х е I ) ( Зг. бХ~) (. "2 - точная верхняя грань ос и ^ в 
Упорядочим множество по включению: X — ^ , если X е - б . 
Вложим Х й в ЗС , сопоставив каждому хё Х 0 множество 

1^ ’ отос5 Р ажение Х^есть взаимно 

однозначное отображение Х 0 на его образ в *ЭС , сохраняющее 
порядок (ср. лемму 2). Обозначим образ этого вложения через 
. Покажем, что э ^2 0 - ^-пространство. 

Наименьшим элементом является І х - ^ _і_} » где X - наимень¬ 
ший элемент в Х р . Если І х , 1^ 6 9^, Х^ЗС , І х с. X » 

1 с X * то ^ ^ ^ X и, следовательно, в Х 0 существует 
их точная верхняя грань 2 , причем ё 1 • Итак, х< 2 . 

2 ’ поэтому І зс СІ г , I СІ 2 . Докажем, что X ^ - точ¬ 
ная верхняя грань и Хи в . Если Т<^ 3° , с I , 

С 1 , то, как показано, х и (так как Х<= X ) 

2 6 I , а значит и І^сХ . Отождествляя элементы Х с 

с их образами в ЗУ а , получаем пространство, шожеством ко¬ 
нечных объектов которого служит Х 0 • Чтобы доказать п.І 
предложения о пополнении , осталось проверить полноту постро¬ 
енного ^-пространства. Пусть ^ - идеал в Ж , ^ . 

Соответствующее множество в Х 0 является элементом 3? . 
Обозначим его сі . Докажем, что элемент 1 множества ЗГ 
тогда и только тогда входит в уГ , когда I с X .В самом 

доле, X^ 'і -і осе ^ ' 

Первое утверждение предложения о пополнении доказано. 

Пусть теперь <Х,Х С/ ^> и <Х'Х 0 , 6>~ 

/ е -пространства с одним и тем же множеством конечных объектов 

ѵ ^ х) 

и порядком на нем, причем д полно. Докажем, что суще¬ 
ствует и единствен изоморфизм X па часть X 1 » тождествен- 
х) Здесь и далее мы пишем кратко "пространство и " вместо 
более полной записи "пространство <^Ц } Ы 0 <У " 
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ный на X. . Если - такой изоморфизм, то идеалы в I 

X о , задаваемые ос и ^(х ), совпадают. Отсюда вытекает един- | 
ственность. Докажем существование. Пусть осеХ ; рассмотрим ! 
идеал 1 х сХ с • Он будет идеалом и в пространстве <Х^ Х 0/ ^> ' 
так как верхние грани двух элементов Х 0 в пространствах X 
и Х' совпадают. В силу полноты цространства Х / этот идеал 
порождается некоторым элементом пространства Х / , который мы 
и назовем /(х) . Монотонность и инъективность ^ вытекают 
из леммы 2. Третье утверждение предложения о пополнении дока- 

. , і 

зано. 

Чтобы доказать второе утверждение, рассмотрим два полных 
Х 0 -цространства <Х^ Х 0 ^ х) и (^Х*\Х 0) <^ с одним и тем 
же множеством конечных объектов. По доказанному существуют 
вложения ^ : X * X ^ и : X 1> -* Х / > докажем, что они | 
обратны друг другу. В самом деле, ° /з есть отобра- < 

• і 

жение (X', Х 0 , в себя, сохраняющее порядок и тождественное 
на Х 0 , а таким отображением (в силу доказанной единствен¬ 
ности) может быть только тождественное. 

Предложение о пополнении доказано. ^ 

В дальнейшем нам пригодится также следующее свойство пол¬ 
ных пространств. 

Лемма 3 . Пусть V - множество конечных объектов полного 
-Цространства ’ (X ,Х 0) ^У и любое конечное подмножество мно¬ 
жества V имеет точную верхнюю грань в X . Тогда множество 
V имеет точную верхнюю грань в X . 

Доказательство . Каждое конечное подмножество множества 
V имеет точную верхнюю грань, являющуюся конечным объек¬ 
том. Рассмотрим множество X тех конечных объектов, которые 
меньше одной из таких точных верхних граней. Докажем, что это 
множество - идеал. Если х < Ъир^ о” к ) , ^ 4 бир ... \Х^ 
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то и X , и не превосходят 4ир (''Лц лС^ , 

значит, совместны и <и^р{рс^) < (гг*, ѵ^) , поэтому 

0,^)6 I • В силу полноты идеал I равен Х^ для не¬ 
которого и/<=Х . Очевидно, \ху - верхняя грань V (так как 
V «с X )’» если 'Ч/ / - иная верхняя грань, то V ^ 1^/ 
и I е Іху// ; значит, ѵѵ ^ \л/ у . Лемма 3 доказана. ^ 
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1.4. Операции над 4. -пространствами . 

В этом пункте мы опишем несколько операций, позволяющих 
получать новые ^-пространства из уже тлеющихся. 

1.4.I. Произведение . 

Пусть ^ и ~ ^-пространства. 

Определим новое пространство, объектами которого являются пары 

X йХ ), порядок - покомпонентный, а 
конечными объектами являются те пары , у которых ьчі и 

у. конечны (в исходных пространствах). Это пространство мы 
будем называть произведением пространств О и 

<( у, У й) и обозначать У\*уУ 

Лемма I . (а) Цроизведение ^-пространств есть ^-прост¬ 
ранство. 

(б) Цроизведение полных ^-пространств есть полное 
^-пространство. 

Доказательство , (а) Если - наименьший элемент X , 

Л- у - наименьший элемент V , то наименьший 

элемент их произведения. Если и - конечные 

объекты цроизведения, <- их верхняя грань, то эс 
^ ^ , поэтому существуют и конечны 6^» ( эс., эс9 и 

'Ъ и р(&У'9 и па Р а (рс,*')., будет конечной 

точной верхней гранью и <х у . Если 

<'ц,т/> 4* , то и или . Пусть, 

например, и 4 эс . Тогда существует ^/ 0 <г » дай которого 

и , фх. . тогда <« 0 ,±. ѵ у < , 

<и 0 ;±у> 4 

(б) Цусть Іс: Х 0 *У 0 - идеал, Т^Х 0 ,К С Ѵ' С 
его проекции; они являются идеалами в X и У , как легко 

х) Мы будем часто употреблять вольность речи, говоря " Лс-про¬ 
странство X " вместо ” ^-пространство ", как 

это делается, например, для топологических пространств. 
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легко проверить. Докажем, что I — ^ К . В самом деле, 

очевидно, X X * К. ; если же ^е. Т , &е К » то 
л> и <Хг,/<> принадлежат X и &> ^ 

< ьи\> (<> / Ь>) 61, поэтому <р‘, $> <= I . Пользуясь пол¬ 
нотой X п У , находим ^ и 4 , для которых 3 , 

К - 1^ ; тогда X - 3 * К -Ъ^Т^ - I . Лемма 

доказана. ^ 

1.4.2. Сумма . 

Цусть <Х,Х с ,0 и О> у о,0~ Два пространства, причем 
множества X и У не пересекаются. Определим новое прост¬ 
ранство, объектами которого будут объекты X , объекты У 
и дополнительный объект _1_ , конечными объектами будут X 

и конечные объекты прострннств Хи У , отношение ^ 
определяется так: меньше любого объекта, внутри X и 

У порядок сохраняется, и объекты из X нѳ сравнимы с объ¬ 
ектами из У . Построенное пространство мы будем называть 
суммой пространств X и У и обозначать X У 
Если X и У пересекаются, заменим их на непересека- 

ющиеся изоморфные пространства Х / и У / и будем считать 
суммой X и У пространство X 7 -ѵ- V ^ , описанное выше. 

Лемма 2 .(а)Сумма ^-пространств есть -^-пространство. 

(б) Сумма полных ^-пространств есть полное ^-пространство. 

Доказательство , (а) Если а , У - конечные элементы 
пространства X +Ѵ и они совместны, то или а = М > или 
ё - _і_ , или а, & X , или $ &У. Во всех случаях 

их точная верхняя грань существует и конечна. Если а ^ в 
возможны такие случаи: (I) ; (2) ас V, ; 

(3) ё -= _1_ 7 сі 6 X ; (4) & а 6 V ; (5) а, в е X ; 

(6) а ( & <: У .В первом и третьем случаях, взяв равным 
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Х_. (наименьшему элементу X )> получим <Х 0 а , 
а с ф в ; во втором и четвертом случаях возьмем й 0 •- _І_ у ; 
в пятом и шестом случаях воспользуемся тем, что X и у - 

-^-пространства. 

(б) Пусть X - идеал в построенном цространстве . Он 
не может одновременно пересекаться с X и У (так как любой 
элемент из X несравним с любым элементом из У ), и, 
следовательно, получается из идеала в X (или в У ) добавле¬ 
нием X (или состоит только из ,Х ). Остается воспользоваться 
полнотой X и У . ^ 

1.4.3. Функциональное пространство . 

Пусть Х и У - ^-пространства; иды построим в этом 
пункте новое ^-пространство, элементами которого будут фун¬ 
кции из Л в У , но не все, а лишь непрерывные в некоторой 
естественной топологии. 

1.4.3.1. Топология в X, -пространстве . 

Пусть < X, Х 0; <У - -пространство. С каждым конечным 
элементом х с 6 Х 0 свяжем множество - { ос & X / х с < х } 

всех его продолжений. Если ус 0 и эс/ - два конечных элемента, 
то либо І ж Пк.' не пересекаются, либо * х с ^ * хі ~ 

- Г/) С ^ • Поэтому семейство множеств Гх^ (для 

всех б Х 0 ) можно объявить базой топологии. Этой топологи¬ 
ей мы и будем всегда снабжать ^-пространства. Открытые мно¬ 
жества этой топологии имеют следующее простое описание. 

Лемма 3 . Множество і\<- )( открыто тогда и только тог¬ 
да, когда одновременно выполнены два следующих условия: 

(1) хеА , х.<р ^ ре А; 

(2) (За 0 & Х 0 )(х о < х х с б_4) 

Доказательство . Для базовых множеств условия (I) и (2) 

выполнены, следовательно, они выполнены и для любого открытого 
множества. Обратно, пусть А - множество, удовлетворяющее ус- 
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ловиям (I) ж (2). Рассмотрим объединение А множеств Гѵ 

/ ь 

при всех Х^еА. Условие (I) гарантирует, что А ^ А . 
Условие (2) гарантирует, что А ^А^. 

1.4.3.2. Непрерывные отображения . 

Цусть <Х;Х О/ 0» <У^Ѵ С; <^ - два ^-пространства, 
снабженных указанными топологиями, -}■ : X —* У - всюду 
определенная функция из X в У . Следующая лемма дает про¬ 
стой критерии непрерывности функции / . 

Лемма 4 . Функция ^ непрерывна тогда и только тогда, 
когда одновременно выполнены два следующих условия: 

(X) ос ^ ос 1 -=^ 4(ос) < х ') 

(2)^бУ 0; => СЗо< 0 бХ*)(у- 0 ^ 

Доказательство . Пусть ф непрерывна, ос^ос\ фі^ффС'*)- 
Тогда существует^ е У 0 , для которого у о ^ фС*-) УС*')- 

Тогда ос содержится в Г^ 0 ) , а ос/не содержится, что, 

согласно лемме 3, противоречит его открытости. Если же ^ 

непрерывна, у 0 ^Ѵ 0 » то 00 -Г(%) л 

по лемме 3 существует Х о с)( 0 , для которого Х & <д: и 
то есть 

Цусть теперь условия (I) и (2) выполнены; докажем непре¬ 
рывность ф! . Достаточно проверить открытость прообраза од¬ 
ного базового множества с помощью леммы 3. В самом де¬ 

ле, если Х^рс / , хс-р ( П^), то у о 
и Х 1 е У . Кроме того, если х » то 

^ -/Ух) и по свойству (2) функции ф! существует зс с & Х 0 , 

для которого х 0 <х И ^ ь <ф(х с ), то есть 

1.4.3.3. Свойства непрерывных функций . 

Непрерывная функция однозначно задается своими значениями 
на конечных объектах, как показывает следующая 
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Дѳмма 5 . (а) Пусть ^ - непрерывная функция из уС -про¬ 
странства <;Х ; Х„ і фв ^-пространство <У ; У Су <.> . Тогда 
для всех ХбУ выполнено равенство 

і 4с*о)і эс 0 ^ ; 

в частности, -унр существует. 

(б) Если ер, - функция из К с в У , являющаяся моно¬ 
тонной ( Х с < Оіо ^(Хо) , а V полно, то Ср, может 

быть продолжена до непрерывной функции из X в У . 

Доказательство .(а) Очевидно, ^(х) - верхняя грань мно¬ 
жества СХо) | 0С с < х} . Пусть любая другая верхняя 
грань и ^(х) ^ у . Тогда существует У 0 б У 0 , для которо¬ 
го <. ^ (х) , ^ • В силу непрерывности ^ существует 

Х с , б Х с » да'которого • Теперь получа¬ 
ем //х*; ^ 

(б) Пусть ^ - монотонная функция из Хо в ^ • Сопоста¬ 
вим каждому хе X множество 


у ( Х' ~ ве Р хняя грань), что противоречит 


В х =■ {у- 0<? Уо I (3 Хо 6 Х.)І> ^ ^ & } 

Докажем, что это идеал в У . В самом деле, вместе с каждым 
элементом он содержит все меньшие; если ^ , то 

существуют Х 0 , х/ ^ X , для которых ^. о < рс е ) * 

^ < ^(Хо) .. Так как , Эе/ совместны, можно рассмот¬ 
реть 2 = (х с . х' ) ; имеем ^ 5?Х , 

^■0 ^ монотонна), значит, и совместны, 
^ />о^0 Ф и поэтому & I. 

В силу полноты У идеал В х состоит из всех объектов, 
меньших некоторого; этот последний мы и возьмем в качестве 
/ (л) . Функция / продолжает ^ : если эс е X 0 , то 

В х ~ 1 Р° ' )У Проверим непрерывность ^ , 

пользуясь леммой 4. Если х <. х^ , то В х ^ В . / , поэто- 
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щ 4 м • Если У » 4^°^ , то 

& Я* и ПОЭТОМУ 3-Хо С' X [ (Х с <эс) & у , 0 < ^3 , 

Осталось воспользоваться тем, что ^ продолжает ^ . Леша 
5 доказана. ^ 

1.4.3.4. функциональное пространство. Конечные элементы . 

Пусть <Х, У 0? <с> , <У Л У*. <> - /„-пространства. 
Определим пространство ССХ } У) . Его объектами будут не¬ 
прерывные всюду определенные функции из X в У . Порядок 
поточечный: / » если для всех х е X выполнено 

//э/ $^(ос) ( в смысле порядка на У ). Более сложно 

описать, какие объекты будут конечными. Пусть Х 0 6 X с , 
у о 6 У© • Определил функцию (х 0 і — > у о) : X У 
следующей формулой: 

^о если 0Со ^ х 
-УУ ? если ^ 

Эта функция удовлетворяет условиям (I) и (2) леммы 4, и, сле¬ 
довательно, непрерывна. Точные верхние грани конечных семейств 
функций вида (0С о і —=> ^-о) (для тех семейств, для которых они 
существуют), мы будем считать конечными объектами пространства 
С (Х } У) . Определение пространства С (К , У/ завершено. 

Лемма 6 . (а) Пространство С(Х,У) является -/-простран¬ 
ством. 

(б) Если пространство У полно, то для всякого простран¬ 
ства X пространство С(Х } У) полно. 

Прежде чем доказывать эту лемму, дадим более явное описа¬ 
ние конечных элементов пространства С С X, У). 

Лемма 7 . Множество { (X, у *,) ^^ і —| 

тогда и только тогда совместно (имеет верхнюю грань) в С(ХУ) 
когда для всякого 1 С для которого /Щ' | I ^ X^ 


( Х е ^ $0 


) (~) = { 
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совместно в У , множество 1} совместно в У . Вся¬ 

кое совместное множество указанного вида имеет точную верхнюю 
грань. 

Доказательство . Пусть $ - верхняя грань множества 

І (^Н*— ЛхгЧеІ} 

совместно и * для всех Сб] . Тогда ^(эс)^ [ \(?с) - 

- и » следовательно, \уі \іе X} совместно. Обратно, 
пусть условие выполнено. Рассмотрим функцию (х 1 ^ } ... , ** 

определенную формулой 

(х , .-г х к і-* ^ М = ^ і ^ I -%■} 

(точная верхняя грань в правой части по предположению существу¬ 
ет). С помощью леммы 4 легко проверить ее непрерывность. Оче- 
видно, (Х'<^у,,) СХ) < (ос) 

поэтому построенная функция является верхней гранью множества 
{ ..., (х к . Проверим, что эта верхняя 

грань - точная. В самом деле, если •/ - верхняя грань множества 

(*н'-^ѵЛ} , то Й у-лъуі ж ■$■(*)* 

для всех тех і , для которых х* < эс . ^ 

Учитывая лемму 7, можно сказать, что конечными объектами 
пространства С(Х, У) являются функции вида (' х* 

" *, » где и ^ - наборы конечных объектов 

пространств X и Г , для которых выполнено указанное в 
лемме 7 условие. Теперь мы можем дать 

Доказательство леммы 6 . (а) Проверим, что условия, указа¬ 
нные в определении / ь -пространства, выполнены. Наименьшим 
объектом является объект ( ^ — 1 * Если 

< у и ^ У , ТО 

все (эс ь * ) < у и все ( ц * і-* лУі) < ^ , значит, суще¬ 
ствует уир ЛЯ,.^ . который и 

будет конечной точной верхней гранью рассмотренных объектов. 



для неко- 


-Зо- 


Цусть теперь / ф ^ , то есть Ф 

торого х . Этот х можно считать конечным, сославшись на 
пункт (а) леммы 5. Теперь возьмем конечное и , для которого 
Сі^ ^(х) » но и ф^(рс) . Имеем (эс\-* и) < ^ , 

^ ^ • Итак, мы проверили, что С (X,У) действительно 

является ^ -пространством. 

(б) Докажем теперь полноту пространства С(Х,У) • Пусть 
К - идеал в 6(Х,Ѵ) . Для каждой точки х,<± X рассмот¬ 
рим множество всех значений функций из К на X . 

Так как элементами К являются конечные объекты С(Х> У) , 
то элементами Іч х будут конечные объекты V . Докажем, что 
К -х_ - идеал в У . Цусть у ё , 2 ^ у , Ъ ё У 0 . Дока¬ 


жем, что 2 ^ . Так как у 6 кф , то у - ф- С^) и 

2 ^ для некоторой функции / из /С . В силу непрерыв¬ 

ности / имеем "2 ^ }і?Сс) дяя нІ^торого 6 X 0 » л с <х . 
Функция ^ - (х 0 и?) меньше -ф в смысле порядка на С(Х,У) 
поэтому у, 6 /<’ , а 2: - ^ (ос) ё кфс, . Цусть теперь 
у , Ъ ё кос , $ - ФМ * 2- = ^ 4 К . Раз 

/ ,^ ё к , то существует А ^ К , для которого фг ё. А, 
^ ^ . Тогда ^ (ос) < и А (*.) с к х , 

значит, у, ж 2. имеют мажоранту в , поэтому они сов¬ 

местны и их точная верхняя грань лежит в к х . Итак, к - 
идеал; так как У полно, то > где У - некото¬ 

рая функция из X в У . Докажем, что тЬ непрерывна. Если 
X < эс / , то <: для|тобой функции / ^ К , 

поэтому /<^ X /б х / И . Если 2(ос) ,^о<гУ с 

ТО 4/<б х И ^ О ^ф(ос) для некоторой 
/ непрерывна, а конечен, то существует Х а ёХ 0 » ДОія ко- 
торого $ о і (( 0 С о ) < #х) = ^ е и 
^ ^ іі (эс 0 ). Осталось доказать, что функция 


с? 

так как 


то есть 
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тогда и только тогда принадлежит 
К , когда 'Ъ 0 х } с *ё(х) для всех эс . Если 6 К , то 
О(х)ё)^: и Мх) < 2(х). Напротив, если <>(х) (х) при 

всех х , то (х 1 м>^і)(х ч ) <тЬ(х), ^ <■ ~і (эс±) , ^4 Кэс ± , 
^ - ^(эсі) для некоторой , (* л ) < ф ё к 

и поэтому ^ . Аналогично ^ ^ к при 

всех I , поэтому их точная верхняя грань - функция *> 
также принадлежит К . Лемма 6 доказана. ^ 


1.4.4. Стандартные изоморфизмы . 


Лемма 8 . Имеют место естественные изоморфизмы і 0 -про¬ 
странств 

(а) ССХ,С(У, г))- С(Х>Ѵ, 2) ; 

(й) С (х, Гу 2) » С(Х ,Ѵ)хС(Х,Б), 

задаваемые формулами ^ I—» ^ 


<*,>> 


И <^ Ѵ) ^ г > где {(*.)- <4г^г Іг^' 

Напомним, что изоморфизмом ^-пространств называется 

взаимно однозначное отображение множеств объектов, сохраняющее 
порядок и конечность (1.3). 

Доказательство , (а) Покажем, что описанная формула зада¬ 
ет элемент ^ из С У, г!) . Монотонность (условие I из 
леммы 4) очевидна. Проверим условие 2 этой леммы. Пусть 

~Ъ 6 2 0 (множеству конечных объектов пространства ), 
2 0 < [{{%)](%)■ Тогда (ибо ${-х)СС(У,2)) существует у о < ^ , 
у о <с У о , для которого < У(^)](^ с ) Теперь ясно, что 

$ ^(рс) и в силу непрерывности ^ существует 
Х 0 <с X о > * , для которого 2о) < ф(^) , 

2 0 ^ (^) = б.,#») - Непрерывность { доказана. 

Обратное отображение ставит в соответствие функции 
у ^ С (ХхУ ; 2) функцию | : х і —* 
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где У'х '-$ Функіщя принадлежит С ( У, ^) 

так как если ~2 0 6 ~Е С , х ■= , то суще¬ 
ствуют х с <х , » ^о<? ,у о ёѴ с , для которых 

н 0 5^ сх^ е ; =/* ■ «УНКВДЯ * *-» /д. при- 

надлежит ССУ } С ( V, 2:)) , так как если у/, 1-*2^...) <у?А; , 

е Х> , 2* 6 ? 0 , то 2^ ^ ^ ... и существуют 

*с ^ , х ь ' < х , для которых г* < ^( х г> Ні) * и взяв 

9 С 0 - -и^уо х с * , имеем 2. < всех С * то 

есть (у : н-> ?«г) Для всех і и «-* 2^. ..) $ 

Итак, обратное отображение определено корректно. Сохра¬ 
нение порядка очевидно; проверим, что конечные объекты перехо¬ 
дят в конечные .В С ( X , С (У, 2 )) конечными объектами являются 
точные верхние грани совместных конечных множеств объектов 
вида (X, 2*.)) ( 2* . . 

2' - конечные объекты X » V , т* ). Так как указанный объ¬ 
ект равен ( ( х. 1 ^ 2^))^... , (ЯГ* Ь-^ /> и €*)")*) > 

то можно ограничиться случаем ^ ~і . Эти объекты переходят 
цри описанном соответствии в объекты вида 2 4 , 

точные верхние грани которых и образуют конечные объекты в 
С^Х*У, 2) . 

(б) Функции с/у и непрерывны, так как являются 
композициями функции ^ и (непрерывных) проекции 
и У * 2 В. Обратно, если /у и ^ нецрерывны, то 
и ^ непрерывна - как легко проверить, топология в V х 2 яв¬ 
ляется цроизведением топологий в У и 2 . Конечные объекты 
в С (X У ^ 2) являются точными верхними гранями объектов 

вида ^ *—а? <у [Р/ г^>) » которым соответствуют в 

С 6< ; Ѵ9 х С (У, 2) объекты вида < (х» к-> у 0 )\ ( х 0 і-* 2 С )> > 
которые конечны. Напротив, объекту (х., зі 0 )^ 

соответствует объект { х і.^ . эс, і-^х^у^У) * который 

также конечен. 
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1.5. Эффективные (о -пространства . 

В этом пункте мы опишем, каким образом -пространство можно 
снабдить дополнительной структурой, позволяющей говорить о 
вычислимости его объектов. 

І.5.І. Определение эффективного /о-пространства. Примеры . 

Пусть <(Х,Х С/ ф- ^-пространство, V - натуральная ну- 
мераіщя множества Х с (всюду определенное отображение ІЫ 
на X і? ; если У(к) = Х 0 то Я называется номером ос). 

Пусть множества Ы) ^ У С^У)} и 

1 | У'(м) и У (У) совместны У разрешимы и существует 
вычислимая функция ф из /А/ " в ЦѴ , для которой 
УС{(гп ) У)) = 'іід.р р/н)) для тех ^ и ^ , для ко¬ 

торых Ѵ(лі) и совместны. 

В этом случае четверку <^Х } Х 0 ? < , Умы будем на¬ 
зывать эффективным ^ -пространством. 

Очевидно, в эффективном пространстве множество конечных 
объектов не более чем счетно, а множество всех объектов не бо¬ 
лее чем континуально. Мы не будем различать эффективных 

-пространств, получающихся заменой нумерации на вычислимо 
эквивалентную (определение см., например, в ). 

В ^-пространствах из 1.2 нетрудно ввести естественным 
образом структуры эффективных пространств. Приведем для полноты 
описания соответствующих нумераций. 

В 1.2.1 УЫ) ~ X для любого УЬ . 

В 1.2.2 У (*) = _!. при п ф О , У(о)=--% , 

В 1.2.3 У (о) - _[_ , У(*\) -=• У) - і при И > О . 

В 1.2.4 выберем и зафиксируем какую-нибудь вычислимую ну¬ 
мерацию двоичных слов в качестве X . 

В 1.2.5 выберем в качестве V одну из стандартных нуме¬ 
раций конечных множеств (например, описанную в [іі\ с.97 ). 
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В 1.2.6. отождествим частичные функции со значениями О 


и I со словами из символов 0,1, тК~ , последний символ в кото¬ 
рых отличен от '*■ , и рассмотрим произвольную вычислимую ну¬ 
мерацию таких слов. 

В 1.2.7. поступаем по аналогии с пространствами .5? и О . 


1.5.2. Структуры эффективных пространств на произведении . 
сумме и функциональном пространстве . 

Пусть заданы эффективные -пространства 
и < Ѵ>У 0 ,уіЛ> . Тогда на их произведении, сумме, а также на 
пространстве С (X /У) возникают структуры эффективных -^-про¬ 
странств. 

Произведение . В X * У конечными объектами являются 'эле¬ 
менты Х 0 *У 0 . Пусть < у> : ПѴ — * ТУ* ПѴ - взаимно одно¬ 
значное вычислимое соответствие между ЛѴ и /ІѴ х /Л/ . В каче¬ 
стве нумерации возьмем функцию 7Г : 

ГОУ- 

Сумма. В Х + Ѵ конечными объектами являются .X и конечные . 
объекты X и У . В качестве нумерации возьмем функцию Г“: 

Т(рУ= X , Т(2ь+ УМ , ул(лУ 

Пространство С(X, У) < В С(Х,У) конечными объектами явля¬ 
ются точные верхние грани семейств объектов вида ^і) > 

^ 6 Х 0? ёѴ 0 . Все такие семейства можно занумеровать, напри¬ 
мер, так: если V (^) = - номер кортежа 

< Их в стандартной нумерации кортежей 

натуральных чисел, то мы будем считать к номером семейства 

{ ..., - 

Лемма I . Множество тех Д , которые являются номерами 
совместных семейств, разрешимо. 

Доказательство .В самом деле, лемма 7 из 1.4 позволяет вы- 










яснить совместность семейства за конечное число проверок 
(равное числу подмножеств X с Л 2,..., ). Эффективность 

каждой проверки обеспечивается тем, что Хи/- эффектив¬ 
ные X 0 -пространства. 

Теперь мы можем ввести нумерацию конечных объектов про¬ 
странства ССХ, У) » положив, что тем $ , которые являются 
номерами (в описанном смысле) совместных семейств, соответству¬ 
ют точные верхние грани этих семейств, а остальным & соответ¬ 
ствует наименьший элемент пространства С (X, У) . 

Лемма 2 . Описанная нумерация удовлетворяет требованиям, 
перечисленным в определении эффективного Х > “ДР ост Р анства - 
Доказательство . Пусть мы хотим выяснить, верно ли, что 
(э: 4 у*. } .. . л <’ (и, і/І, ..., и т 

где X; , ^ ^ заданы своими номерами. Достаточно 

ограничиться случаем /1=1, так как дир(а,&)< с 
Чтобы узнать, верно ли, что (х 1 «-*у О ( и , »-ѵ ,... } и т ѵ-*> іГ* ^ 

надо вычислить значение правой части на , для чего найти 
те с , для которых <Х ІУ и взять точную верхнюю грань 
соответствующих Ч і . (Возможность эффективного выполнения 
этих действий, т.е. нахождения соответствующих номеров, обес¬ 
печивается эффективностью пространств К и У .) Затем эту 
грань надо сравнить с . 

Для определения совместности двух конечных 

объектов пространства С (Х,У) , заданных их номерами, нужно 
воспользоваться леммой I. Наконец, точную верхнюю грань двух 
совместных конечных объектов можно найти, приписав друг к дру¬ 
гу кортежи, соответствующие этим объектам. Лемма 2 доказана. 

Нетрудно проверить, что при описанных выше стандартных 
изоморфизмах С ( X, С ( / ; 2')) — С ( X * У, І) 
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и ссх.Ѵ*?)^ ах,у) *ах,н) нумерации в левой 
и правой части, построенные описанным способом, переходят 
друг в друга (с точностью до вычислимой эквивалентности нуме¬ 
раций) . 

1.5.3. Вычислимые объекты. Относительная вычислимость . 

Пусть <Х,Х^ ^ > \Г> - эффективное /^-пространство. 

Объект -х <= X назовем вычислимым, если множество 
{к/ І у(н.) < зс} номеров всех меныпих его конечных 

объектов перечислимо. 

Согласно определению эффективного / 0 -пространства всякий 
конечный объект вычислим. Ясно также, что множество вычислимых 
объектов в / 0 -пространстве не более чем счетно. 

Лемма 3 . Пусть X » V - эффективные пространства, 

^ ё С (К ,Ѵ) и хе X - вычислимые объекты. Тогда /Лч) 
- вычислимый объект в У . (Говоря о вычислимости ^ , мы 
имеем в виду описанную в 1.5.2 структуру эффективного ^-про¬ 
странства в С( X | У) .) 

Доказательство . Так как ^ непрерывно, то для всех 
€ У имеем 

у. (Эжо < Лхо)))<^, 

(Эх 0 е Хс)(((=с 0 н->у 0 )^ I) & (-Хо ^ х )) 
и осталось сослаться на вычислимость / и эс . ^ 

цготь < X, Хо / 6,» 7 > и <у, К, -два 

эффективных ^ -цроотранотва. Будем говорить, что ас & X 
вычислим относительно у & У , если существует вычислимый объ¬ 
ект ^ СС У, Х/для которого = х . 

Лемма 4 . Объект хеХ вычислим тогда и только тогда, 
когда он вычислим относительно любого объекта у, в любом эф¬ 
фективном пространстве У . 
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Доказательство . Если X & X вычислим, У - любое 
эффективное пространство, то функция из СІУ / Х) 

тождественно равная эе , вычислима, так как (и ь-> чГ) < ^ <$) 

. Чтобы доказать обратную импликацию, достаточно 
взять в качестве у вычислимый объект и применить лемму 3.^ 
В дальнейшем нам потребцется также следующая 
Лемма 5 . Пусть X , У , "2. - эффективные у о -про¬ 
странства, ^еС(Х,У) и А еСІ у, 2) - вычислимые объекты. 
Тогда объект А ^ е О(К, Ъ) вычислим. 

Доказательство . В самом деле, если ос 6 Х 0 , і & 22 0 

- конечные объекты пространств Хи 2 , то 

(Х„ 1— 2 0 ) 

1.5.4. Примеры вычислимых объектов . 

Рассмотрим, какие объекты вычислимы в указанных в п. 1.2 
~^ 0 -пространствах' и в пространствах, из них получающихся. 

В пространстве вычислит все объекты, так как все они 

конечны. В пространстве вычислимы все конечные последо¬ 

вательности, а также вычислимые (в обычном смысле) бесконечные 

п 

последовательности. В пространстве О частичных функции со 
значениями 0 и 1 и в пространстве Г частичных функций из |М 
в ПѴ вычислимы частично рекурсивные функции. В пространстве 

ірі 

2 подмножеств (IV вычислимы перечислимые множества. 

Вычислимые объекты в С (2 ^ 1^) суть вычислите опе¬ 
рации (операторы перечисления в смысле [//], с. 192), вычисли¬ 
мые объекты из С ( /РХ [р) - вычислимые операторы (рекурсивные 
операторы в смысле й, с. 194); вычислимые объекты из С( (іѴі,) 

- рекурсивные функционалы (в смысле [уі] % с. 459). Вычислимые 

объекты из 0(52,22) - алгоритмические операторы ( в смысле 

[&], с. 33). Вычислимые объекты из 6(7/1^,//^)- либо тождественно 
равные одному и тому же числу функции, либо функции, равные 
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на _і_ , совпадающие с некоторой частично рекурсивной 
функцией ф. из І/Ѵ в Ш на тех П, , на которых / 
определена, и равные -і- на тех Лг. , на которых ф? не 
определена. 

Более подробно ш рассмотрим вычислимые объекты некоторых 
цространств в дальнейшем, в связи с определением энтропии. 

1.5.5. Перечисление множества вычислимых объектов. 



В дальнейшем нам понадобится следующее 
Предложение I. Для всякого полного эффективного ^ -про¬ 
странства X существует вычислимое отображение из С (7Л/^Х), 
образом которого является множество всех вычислимых объектов 
пространства )( . 


Доказательство . Пусть У - нумерация всех конечных объ¬ 
ектов эффективного пространства X • Для каждого І рассмо¬ 
трим с -ое перечислимое множество (в стандартной нумера¬ 
ции перечислимых множеств натуральных чисел). Множество у(у /^) 
может быть несовместным; мы преобразуем его в множество К ^ 
которое всегда будет совместным и будет совпадать с V СШ'О 
если последнее совместно. (Совместным мы называем множество, 


любое конечное подмножество которого тлеет точную верхнюю грань. 
Множества К і определяются так. Перечисляя } 

мы каждый следующий элемент У(<ѵ) проверяем на совместность 
с Ѵ(<л *) і -і) ( эт ° возможно по определению ф 0 -про¬ 
странства); если {У(4'о)у..., совместно, то 

включаем У(й п ) в ; как только обнаружится несовместность, 
больше никаких элементов в Кі мы не включаем. 

Искомую функцию из С ((IV^ , X) определим теперь так: 

(В силу леглмы 3 из 1.3 би-р существует.) 

В силу леммы 4 из 1.4 эта функция непрерывна; всякий вы- 
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числимый объект попадает в ее образ, так как представляет 
собой точную верхнюю грань множества меныпих его конечных 
объектов (лемма 2 из 1.3), а множество их номеров перечислимо 
и встречается среди \Х4 . Осталось проверить вычислимость 

функции ^ . Объект (_і Н* &•) меньше ^ , если и только 
если ; объект (п х) меньше ^ тогда и только 

тогда, когда х ^ , то есть (см. доказательство 

леммы 3 из 1.3) когда существуют такие -в ім & 

что ос <: ^о. А последнее свойство перечислимо в 

силу построения 1<С„ и эффективности пространства X . ^ 
Следствие предложения I . Дустъ X , У - эффективные 
^ -пространства, У полно. Тогда существует вычислимый 
объект ^ из С С #Ѵ^>< X, У) , сечения У і эс»—х) 
которого исчерпывают множество вычислимых объектов простран¬ 
ства С С X, у) . 

Доказательство . По доказанному предложению имеется 
вычислимое отображение Р & С ( І/Ѵ^ С(Х, У)) , образ 

которого состоит из всех вычислимых объектов пространства 
С()( І У) Остается воспользоваться изоморфизмом 

- соду;, описанным в 1.4.4 (лемма 8).^ 
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1.6. Объем на :?о -пространствах . 

Пусть )( - эффективное -^-пространство, Х 0 - множество 
конечных объектов этого пространства, ^ - функция на X с 
с натуральными значениями, обладающая следующими свойствами: 

(1) -Хц < Х х і(.ос г ) 

(2) Цое) можно эффективно найти по номеру объекта X . 
Функцию с такими свойствами мы будем называть объемом 

на пространстве X . 


Основные примеры объемов . 

1. Х = к ± , и±)*о, гцо= |>^сі+-и)] 

( ш обозначает целую часть р ). 

2. Х = = длина последовательности Ос . 

3. х = 2 , іы = число элементов в области определе¬ 
ния функции ос . 


Таким образом, мы ввели необходимое нам для дальнейшего 
понятие полного эффективного -/^-пространства и понятие объема 
на нем. В дальнейшем мы будем под пространством понимать полное 
эффективное -пространство, если нет специальных оговорок; 
кроме того, мы будем продолжать сокращенно писать "пространство 
)( " вместо более полного "пространство <(Х ; Х 0/ 



Глава 2. Задачи и их энтропия . 

В этой главе на основе понятия ^-пространства мы опре¬ 
делим понятие задачи и понятие энтропии задачи - уточнение 
интуитивного представления о сложности отыскания решения 
задачи. 



Г«сѵдгр ; 
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2.1. Определение задачи. Монотонные и разрешимые задачи . 

Задачей назовем пару^г,/ X, , где X “ простран¬ 

ство, а /\ - некоторое подмножество X . 

Говоря неформально, задача состоит в отыскании объекта 
пространства X » входящего в Л . 

Пространство X мы будем называть простра нством задачи 
оС , а объекты, входящие в А - ре шениями задачи оС . 

Задачу оі = назовем монотонной, если из эс<у , 

Хё/4 следует А , то есть если любой объект, продолжа¬ 
ющий некоторое решение, сам есть решение. Большая часть задач, 
которые мы рассматриваем, монотонны. 

Задачу с-4 - <^ X, А^> назовем разрешимой, если существует 
вычислимый объект пространства X » являющийся ее решением. 

В дальнейшем мы расклассифицируем разрешимые задачи по 
"сложности их решения", определив понятие энтропии задачи. 
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2.2. Способы описания. Сложность задачи при данном 
способе описания. 


Пусть X » У ~ пространства, ^ - объем на простран¬ 
стве X . 

Спосо бом^описания объектов V с помощью объектов X 
назовем любой вычислимый объект пространства С СХ,У). 

Пусть даны способ описания й С(Х,у) и задача 
оі = Ау в пространстве У . Рассмотрим число 
К^С<У А>) - {Р(*с)\х- конечный объект пр-ва X ,-^ХА 

(как обычно, полагаем 0 - оо ), называемое сложностью 

задачи оі при способе описания ^ . 

Имеет место следующая простая 

Лемма I . (а) Если , то задача оі разрешила. 

(б) Если задача оі разрешила, то существует способ описания 
, при котором /<^_ (•*) < лр - 

(напомнил, что цространства X , У и объем на X фиксированы] 

Доказательство , (а) Если К(^)< с >^ , то существует конеч¬ 
ный объект ѵс 0 6 X , для которого ~Р('х 0 )е А . Тогда 
будет вычислимым решетем задачи . 

(б) Если задача оі разрешима, ^ - ее вычислимое ре¬ 
шение, то функция ^С(Х,У) > тождественно равная ^ 
будет искомым способом кодирования . т 
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2.3» Необходимые и достаточные условия для существования 
оптимального способа описания. 


Различные способы описания приводят, естественно, к 
различным сложностям одной и той же задачи. Нас интересует 
вопрос о том, когда среди всех способов описания существует 
оптимальный - дающий в каком-то смысле наименьшую сложность. 

В этом пункте мы уточнил этот вопрос и дадим ответ на него. 

Пусть X , У - пространства, Й - объем на X » 

^ и ^ - два способа описания объектов из У с помощью 
объектов из X . Дуцем говорить, что способ / эффективнее 
способа , если существует такая константа С , что для 
любой задачи - < У, Ау в пространстве У имеет место 
неравенство К.^ ( и ) ^ С, < Способ ^ назовем 

оптималь ным способом описания объектов У с помощью объектов 
X , если он эффективнее любого другого способа описания 
^ ьС(Х,Ѵ)> (Заметим, что в соответствии с нашим определением 
каждый способ описания эффективнее самого себя.) Пространство 
X с объемом (у назовем ^етулярнш, если для всякого 
пространства У существует оптимальный способ описания объ¬ 
ектов У с помощью объектов X • Следующее предложение 
дает легко проверяемый критерий регулярности пространства. 

Предложение I . Пространство X с объемом й регулярно 
тогда и только тогда, когда существует такой способ описания 
^ объектов пространства X с помощью объектов X » 
что выполнено свойство 

(Ѵкі € лѵ ) (3е) ( Ѵх *Xс,)(^ «х * Мі. ,«*о,и»»« 2(х 0 ѵ е) (-* 

Доказательство . Пусть пространство X с объемом ^ 
регулярно. Тогда существует оптимальный способ описания ^ 
объектов из X * І}\1± с помощью объектов из X . Сравним 
его со способом , сопоставляющим объекту ос объект 
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О, И) . Так как ^ оптимален, то К^«Х*М/ х ; и>») 

превышает Ка і (<і^ х ИѴ±. 1 {Ос*., и>») = й(х с ) не более чем 
на константу (зависящую от , но не зависящую от 32 ). 

Более сложно доказательство обратной импликации. Пусть 
€ С С X) X * М/х) " способ описания, удовлетворяющий ус¬ 
ловию (-%•) , V - произвольное пространство. Согласно следствию 
предложенияіиз 1.5, существует вычислимый объект и <~ 
еС(Х*ИѴ± , V) , среди сечений X і— * СіС<^с, и» кото¬ 

рого встречаются все вычислимые объекты <С(Х. УѴ • Рассмотрим 
теперь композицию А = - Согласно лемме 

5 из 1.5, она является вычислимым объектом пространства 
С СХѴ) , то есть способом описания объектов У с помощью 
объектов пространства X . Докажем, что ^ - оптимальный 
способ описания. Пусть - произвольный способ описания объ¬ 
ектов У с помощью объектов цространства X • Тогда 

и для некоторого /г. . По условию (-*■) 

существует такое С , что для всех конечных х 0 & Х с 
имеет место неравенство (<СХ* ЦѴ М , { < х с , >•) ^ 6 У* 0 ) ■+ (2 . 
Пусть У А > - произвольная задача в пространстве У . 

Если у(эс ѵ )ьА » то <*«**,*>) . Так как 

К{«х«л/±,{<х в ,н>}» < ?ы+е + то °ущ еот - 

вует конечный объект пространства X > для которого 

= <^ 0/ /і>, €(&*.)< ІЫс) + С + 4. 

Тогда А(ос ( ) = и(^(эс±)) - и (сэсо/^У) - 
Таким образом, для всякого , для которого ^(хо) 6-л, 
мы нашли , для которого 1л(эб±.) и і(хі)< С(тс 0 )^Сч- ±. 
Отсюда получаем, что К % ((у ) АУ) < ^ А» ■+ С + 4 -. 

Оптимальность ^ доказана. ^ 

Пусть X - регулярное пространство с объемом, У - любое 
пространство. Выберем и зафиксируем оптимальный способ описания 
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Яу объектов У с помощью объектов X . Сложность задачи 
об, А^> при способе описания мы будем называть 
энтропией задачи оі . Произвол в выборе оптимального способа 
кодирования влечет за собой то, что энтропия определена с точ¬ 
ностью до ограниченного слагаемого. Энтропию задачи об мы 
будем обозначать К х ^ О) (здесь )( - пространство описа¬ 
ний, - объем на нем) или просто К х 60 или КС Ц) , 
если ^ и X ясны из контекста. 3 ^ 

Предложение 2 . Пусть У , С - произвольное регулярное 
пространство с объемом, А^> - цроизвольная задача. 

Тогда /< ^ ^ («О <. л* сб- разрешила. 

Доказательство . Предложение следует из леммы I п. 2.2. щ 
Таким образом, мы расклассифицировали разрешимые задачи 
по степени трудность их решения, точнее, по степени трудности 
описания их решений с помощью объектов заданного пространства 
X с объемом / 


х) В дальнейшем мы будем часто использовать вольность речи, 
говоря "регулярное пространство X с объемом ^ " или 
просто "регулярное пространство X " вместо "пространство 
X и объем И на нем, превращающий X в регулярное 


пространство с объемом" 
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2.4. Примеры энтропий . 

■В этом пункте мы рассмотрим некоторые регулярные цростран- 
ства с объемом. Каздому из них соотвествует свой вариант поня¬ 
тия энтропии. 

2.4.1 . Проверим, что пространство І1\/ х с объемом / : 
ІЫ)^ Іо^ х Су\-4гі) регулярно, и, следовательно, 

может служить для определения энтропии. Согласно предложению 
I из 2.3 достаточно построить такой способ ^ описания 
объектов ПѴ_х * А [і объектами ПѴ Х , что 

(Ѵи 6 А/КЗО(\/т ^/А/х 

В качестве такового можно взять способ ^ , определяемый так: 

^(і) - <т,л> фі) /С = (2 т + Я) при & , и 6 /А/, 

/п 6 /7Ѵ х , где $_± + 3 полагаем равным 1 > а ±) г=г 
- < \^~) -*-> . Очевидно, (*<М0. * /71 /і. , *>} ^) < П + іо с/, (2уь ^ 

2.4.2 . Покажем, что пространство .5? с объемом ^: 

= родина последовательности л) является регулярным. 
Для этого нужно построить такой способ описания ^ объек¬ 
тов 32 * М/а объектами 32 , чтобы 

(Ѵи 6 ііМЗс ) с Ух 6 2) 61/ ( <2*ІіѴл , К*, »>») 4 в(х)+С)- 

В качестве / можно взять такой элемент пространства 
СС&.&хПѴ^)» что <^> 1 > ДЛЯ всех ѵ)Ш 

и » а ^ (о^-) - 2.. (Здесь 0* обозначает слово из -5 

нулей.) Очевидно, «^((2* ЦѴм 7 {Ъ, К>})) < И + + 4.. 

2.4.3 . Покажем, что пространство о с объемом Ч ; 

С (ос,) = (число элементов в области определения за ) 

регулярно. Для этого возьмем 2 */А/д) » пе Ре- 

водящий функцию зс в пару н) , для которой 



-Ц%~ 

Х^(о)-0 / х-С'і'іу.,., ? с Сп - 4) - О, ОС (ь)- ± у у,(с)^ эс(п+і+і) 

при всех с (если такая существует) ив (Л. ^ І.') , если 

пары с указанными свойствами не существует. Очевидно, 

К/({о * Мл., і<>, и >») ^ п+2(^) + ±. 
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2.5. Сравнение различных энтропий . 


Дустъ Хі , 


ж 


Х 2 , і 


2 - два регулярных прост¬ 


ранства с объемом на них; мы хотим выяснитъ, как связаны эн¬ 


тропии /< ^ (’о4) и ібу ^ (об) одной и той же задачи 

при разных пространствах описаний. Более конкретно, нас 


(®4) и к 


оС 


интересует, в каких случаях имеются оценки вида 

К 60 ^ У б к х 2 60) С. 

где ^ - некоторая функция. Ответ на этот вопрос дает 

Предложение I . Пустъ 1И-* Ік - монотонно возрастающая 
функция, удовлетворяющая условию Липшица. Тогда следующие 
свойства равносильны: 

(1) Для любого цространства У существует такое С 

что для любой задачи и - А У имеет место неравенство 

,Сі С. и )) + с . 

(2) Существует такое , что для всякого конечного 

объекта Х 2 ^ X % выполнено неравенство 

^ 4 (^ 2 . 6^2.)) + С. 

Доказательство . (1)^(2). Возьмем в каічестве У про¬ 
странство Хг • Тог Д а существует такое С , что для 
любой задачи оі ~ <Ѵ, А) ѵ в частности, для любой задачи 
вида < Х 2 і х гУу выполнено неравенство 

КхЛ ’ (<Хг,Н^>) « 


( 


Учитывая неравенство К^ ^ «Х х ,<%*}>) ^ ^ С*л) -+ С 
получаемое рассмотрением тождественного спо соба кодирования 
объектов Х 2 с помощью объектов Х 2 , а также, то^ято функ¬ 
ция У монотонна и удовлетворяет--условию Липшица, имеем 


Кхі.,г ± ^■+ с < 

^ 4се(*ъ)У+ с''+ с.. 

(2)Ф(І). Пусть оптимальный способ описания: 






тогда 
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*/(<**■><**»)' №*( х *)) + с. 

Пусть ^'6гС(Хі ) У) ~ оптимальный способ описания объектов 
У с помощью объектов из Х^. • Рассмотрим способ опи¬ 

сания $ = <^о 6 объектов У с помощью объектов из Х± . 
Ну отъ аі ■=. <( - задача в пространстве У , х^~ конечный 

объект Х 2 > Для которого А , б(х 2 )^ ^ (Ч) + 4. 

Пусть - конечный объект , ддя которого ~Ь (эс±) - и 
^(^(х^+С+І • Тогда А(хЛ- <М 

и <4 $ 4'(х±)$^(€г.(*2.'))+ С*-1 ^4(кх г р г ^+*)+ С '+ 1 ^ 

$4С^Хх V 6 е )) 4 * С / (пользуемся монотонностью и условием 
Липшица). Поэтому и для оптимального способа кодирования верно 
аналогичное неравенство. ^ 

Если мы интересуемся только энтропией монотонных задач, 
то условие (2) следует несколько видоизменить. Именно, справед¬ 
ливо следующее 

Предложение 2 . Пусть ^: ІЯ-* ІК - монотонно.' возраста¬ 
ющая функция, удовлетворяющая условию Липшица. Тогда следующие 
свойства равносильны: 

(Й Для любого пространства У существует такое С , 
что для любой монотонной задачи оС = < \ і /\у тлеет место не- 
равенство К у. е± (-О $ + С. 

(2 7 ) Существует такое ё , что для всякого конечного 
объекта х х е У о- выполнено неравенство 


(напомним, что П х ^-^с&'Х г ) ос ^ х ± у ). 

Доказательство . Чтобы доказать импликацию (1 1 ) =$< 2 ‘), 
нужно внести в доказательство импликации (І^=^>(2) следующее 
изменение: всюду задача УХ 2) Ч^гУ^ заіленяется на монотон¬ 
ную задачу <Х а) Т^). Доказательство (2 / )=^(І / ) получается 
из доказательства импликации (2) ^(1) предыдущего предложения 
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заменой на , равенства на 

неравенство р(х±) Ъ х л. и равенства &(**)=^(*а) на неравен¬ 
ство •© 

Нас будут особенно интересовать случаи функций ^(^)"& 
и у\+ СІсс^ѵі • Если выполнены условия (]/) и (20 пред¬ 
ложения 2 для функции - / 1 . , то мы будем говорить, что 

пространство не^суже пространства Х^, • Если условия 

(і0 и (20 предложения 2 выполнены для функции У (и ^п + С&^п 
при некотором С , то ш будем говорить, что пространство 
Х.1 почти ^ іе^хуже пространства Х^. Имеет место простая 

Лемма I . Отношения ” Х^не хуже Х 2 Г и " почти не 
хуже Х 2 " транзитивны; выполнение первого из них влечет вы¬ 
полнение второго. 

Доказательство очевидно, если воспользоваться условием 
(і') предложения 2.^ 

Сравним с этой точки зрения введенные в 2.4 энтропии. 

Предложение 3 . Имеют место соотношения 

52 •*— о 


где X —* V означает, что X не хуже У , 

Х~*У означает, что X почти не хуже У ; 

иных соотношений (кроме вытекающих из указанных с помощью 
Леммы X) нет. 

Доказательство . (I) Рассмотрим следующий 

способ ^ описания объектов $2. с помощью объектов 
.^( -І-) = пустое слово, ^ ) = двоичная запись числа 

К -н Л. , у которой отброшена первая единица. Для него вы¬ 
полнено свойство (2 ') из предложения 2 (и даже более сильное 
свойство (2) из предложения I). 

(2) ^ . Рассмотрим следующий способ 

описания объектов 2 с помощью объектов 2 
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-Р(эс)^ ос(о) , » ч ос(Д) , где - наибольшее натуральное 
число, для которого х(о) , х Сі) ,..., Х(к) определены. (Если 
3: - всюду определенная функция, то ^(ос) ~ х(о) эс(і) ^ „ 
бесконечная последовательность.) Для построенного ^ выпол¬ 
нено свойство (2^) из предложения 2 и даже более сильное свой¬ 
ство (2) из предложения I. 

(3) 5? ■— ^ /М д • Сопоставим каждому натуральному 

числу /ъ двоичную последовательность Х п , причем так, 
чтобы при м фл и ііх К ) ^ + С, 

Это можно сделать, например, таким способом. Каждому числу 
сопоставим сперва двоичную последовательность /ь , получа¬ 
ющуюся из двоичной записи числа я + і отбрасыванием первой 
единицы. Через 66 (где 6* - двоичная последовательность) 
обозначим последовательность, получающуюся из и заменой 


каждого нуля на 00 и каждой единицы на II. Теперь положим 
Эб' п - флика 7г] ОІ К 

В качестве искомого способа описания ^ элементов (И±_ 
с помощью элементов 5? возьмем точную верхнюю грань мно¬ 
жества {'( 2: п і — =» к') | и бг ГЫ 1г ^ С(52; Мь). Очевидно, 

<: + С. 

(4) Докажем теперь, что ІА/ 5 . В самом деле, пусть 
/А/ х почти не хуже 2 и ^ - способ описания объектов 
2 с помощью объектов /А^ , для которого 

К{«о, П.» б 2 (*)+<?, с с») + е*. 

Рассмотрим все функции ^ , область определения которых 


состоит из двух элементов; для каждой из них рассмотрим зада¬ 
чу 1 2 • Сложность этих задач (при способе описания ^ ) 
должна быть ограничена некоторой константой . Бусть 
Я*. , ..., - все те натуральнце числа И. , для которых 

< С -1 • Для всякой функции х. с двухэлементной областью 
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оцределения существует і , для которого Г^_, Та¬ 
ким образом, мы получаем конечное число функций - > 

и каждая функция с двухэлементной областью 
определения является сужением одной из функций . А это 

невозможно. В самом деле, будем говорить, что число <Х экви¬ 
валентно числу & , если для всех ^ выполнено условное 

равенство х* (а) ^ (€) . Классов эквивалентности конечное 

4 Ф 

число (не более 3 "), поэтому существуют различные, но эквива¬ 
лентные числа а и € . Тогда функция оа , для которой 
эс( а) =. О , '^( €) - 1_ ,а значения в остальных точках 

не определены, не является сужением ни одной из функций "ЭСс*. 

(5) Докажем, что ^ —/^ |]\/ . Для этого введем на Сд 

меру уй , сосредоточенную на множестве всюду определенных 
функций и совпадающую там с равномерной мерой Лебега (цроизве- 


дением счетного числа мер /<; на 4.0,1} ,, для каждой из 

которых уЧ; СО) = іл ь - (X) = 1/2 ). Пусть ф - способ описания 
элементов с помощью элементов О . Сопоставим каждому 

числу и е )У меру р м шожества .р! V Г*) : Ц ~ 1 ~( С)). 

Если то ^ (О содержит все продолжения ж , по¬ 
этому ьт' е ^ . Таким образом р м >: . Если 

’ь 

бы Кх(ПЛ было меньше Й(п)-<-С , то было бы выполнено не- 

+ ^ п -(^ к )+с) с* ^ 

равенство р п > 2 ' >, и РЯД расходился 

бы. Но множества % 0~й,) не пересекаются, а потому 

± . Полученное противоречие показывает, что 

Предложение 3 доказано.^ 



2.6. Сравнение энтропий различных задач . 


В этом пункте мы докажем неравенство, связывающее 
энтропию различных задач при одном и том же пространстве 
описаний (в отличие от предыдущего пункта, где сравнивались 
энтропии одной и той же задачи при разных пространствах опи¬ 
саний) . 

Предложение I . Пусть X , Ч - регулярное пространство 
с объемом, У , "2. - пространства, )~ - вычислимый объ¬ 
ект пространства Тогда существует такая константа 

С , что для любых задач ^ = < V, и В ) ВУ , 

для которых РСЛ) В , имеет место неравенство 

К х, а С ^ ^ х,о ^ + 

Заметим, что условие можно переформулировать 

так: А с: . 

Доказательство , Пусть $6 СС^,У)- оптимальный способ 
описания. Рассмотрим способ описания Р о -Ц объектов 
объектами X . Тогда, очевидно, имеет место неравенство 
(р)<: Кр (°0 , откуда и вытекает нужное нам ут¬ 

верждение. ^ 

Это предложение мы неоднощэатно будем использовать в 
дальнейшем. Отметим также такое очевидное свойство: если 
сЛ ^ У ? л> и = <Ѵ, Ю - две задачи в одном и том 
же пространстве и А ^ В , то (°0;< 

для любого регулярного пространства с объемом X > ^ • 



Глава 3. Задачи и интушхионистская логика . 


В этой главе мы определим логические операции над задачами, 
покажем, что задачи образуют модель интуиционистской логики 
высказываний и выведем из этого некоторые следствия, касаю¬ 
щиеся энтропии задач. 
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3.1. Логические операции над задачами . 

В этом пункте мы определим (в духе идей А.Н.Колмогорова 
М , развитых впоследствии Ю.Т.Медведевым [д] ) логи¬ 
ческие операции над задачами. 

Пусть ьі - у X } и (5 = < V ^ В > - две задачи. 

Конъюншщей задач ос и р назовем задачу 

оікр = <х*у, 

Дизъютщи^ задач ^ и р называется задача 

оСѵр - + А оё 1 )* г Де А 1 - А и &'=. В , если 

пространства X и У не пересекаются; если это не так и 
при определении суммы пространства X и У заменены на 
изоморфные непересекающиеся пространства X 7 и V / , то 
множества Д / и & / - образы множеств А и В при 

изоморфизмах. 

йдштсащей задач оі и р назовем задачу 

= <ссх,у), |^(М С В] 

Ложью (стандартной неразрешимой задачей) назовем задачу 
0> , где Р - одноэлементное пространство, описан¬ 
ное в 1.2.I. 

Таким образом, решить задачу оі к означает предъявить 
пару решение задачи , решение задачи ; 

решить задачу означает указать, какая из задач оС 

и ^ решается и затем предъявить ее решение; решить задачу 
ос ^ е означает предъявить (непрерывную) функцию из про¬ 
странства задачи и в пространство задачи р , перерабаты¬ 
вающую любое решение задачи оС в некоторое решение задачи 

е . 

Предложенные определения сходны по замыслу с определени¬ 
ями операций над финитными задачами, данными Медведевым в [з] 
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Различие состоит в том, что мы рассматриваем не просто мно¬ 
жества без всякой структуры на них, а пространства; в частно¬ 
сти, в определении задачи об (2 участвуют непрерывные 
функции. 

Для нас эта конструкция важна как общий метод доказатель¬ 
ства неравенств, связанных с энтропией; об этом см. далее, в 

3.4. 
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3.2. Энтропия конъюнкции. дизюнкшш и импликации задач . 

В этом пункте мы рассмотрим, как связаны энтропии конъ¬ 
юнкции, дизъюнкции и импликации с энтропиями исходных задач. 
3.2.1. Конъюнкция . 

Для рассмотрения энтропии конъюнкции двух задач нам по¬ 
надобится следующая вспомогательная конструкция. 

Пусть X , У - два пространства с введенными на них 
объемами , С у , являющихся регулярными. Введем в 

пространстве X * V объем, положив 

-2-х &)■ 

(Свойства объема, перечисленные в 1.6, очевидно выполнены.) 

Лемма I . Пространство X х V с объемом ■(? х х у явля¬ 
ется регулярным. 

Доказательство . Нам нужно построить такой способ опи¬ 
сания ■$4г С (Хх У , X х Ѵх ПѴм) , что 

(Здесь , К» - множества конечных объектов пространств 
Хи У .) Для этого рассмотрим способ описания 
^ ё С (У , У * пѵ±) , удовлетворяющий свойству 

< е(#о)+с) <■**) 

и в качестве ^ возьмем отображение, определяемое так: 
ФС Х >&) - Докажем, что свойство выполнено. 

Пусть И йЦ\/ . Соответствующее этому к. значение для 
которого неравенство (*-*-) выполнено, обозначил . 

Щготь .Если К , то 

поэтов 

В силу указанного свойства способа описания ^ при данном 
^ можно выбрать ^ так, чтобы = <У^ С) *Ѵ> и 



И • Тогда + ^ 

> йх (Хс) + б у ^ 4 Сі “*■. і Поэтому условие (-у-) выполнено. 

Эта лемма позволяет сформулировать 

Предложение I . Цусть № , N - два пространства, 

X и У - два регулярных пространства с объемами ^ и 
. Тогда существует такая константа 42 , что для всех 
задач оі в пространстве № и для всех задач ^ в простран¬ 
стве /V выполнено неравенство 

(и Ф*Кх,і я и) + к ѴАФ+ с - 

Это предложение утверждает, что сложность решения конъ¬ 
юнкции двух задач (т.е. сложность их одновременного решения) 
не превосходит суммы сложностей исходных задач (при подхо¬ 
дящем выборе пространства описаний). 

Доказательство . Цусть -.>4 = <( М, А), ^ ^ - 

оптимальный способ описания объектов из М объектами X , 
^ - оптимальный способ описания объектов из |Ѵ объектами 
У . Рассмотрим способ описания А еС( X* У, ^ 
определенный формулой 

Докажем, что ^ {и \ р) $ ^ Й) ^ с р) ■ 

(Отсюда будет следовать интересующее нас утверждение.) 

В самом деле, если ё А , у(#о)& & * то 

« а * в и «*„>>)--4г*») +^ѴЫ 

Беря точную нижнюю грань по всем Я и , получаем требуе¬ 
мое неравенство. 

Из предложения I вытекает такое полезное 

Следствие I предложения I . Цусть X - такое регуляр¬ 
ное пространство с объемом, что X не хуже X * X Тог¬ 
да для всяких пространств М и N найдется такое С , что 
для любых задач о4 и ^ в пространствах И и І\/ соответствен¬ 
но выполнено неравенство К х («О +- 14 х (р) С* ш 
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В качестве пространства 


х 


удовлетворяющего указан¬ 
ие 

ному требованию, можно взять, например, пространство ^ , 


как показывает следующая 

г—' 

Лемма 2 . ^ не хуже 


;—» 

- >Ч - 


Доказательство , Определим способ описания 


^ 6 С С о > 2 х 2) формулой 

Ѵк ( уЫ) ^ ос(2к) $< НОО ^ 

Ясно, что К^Г^ч $ ^(^о) +• ЦЪс) . Остается восполь¬ 
зоваться предложением 2 из 2.5 . ^ 

Пространство ПѴх не обладает аналогичным свойством 
- не существует способа описания { <6 С ( ІК/ х » Г№ х * ПЧІх'і 
и константы С , для которых С 

при всех ѵк , к <~ ІЫ х .В самом деле, для любого числа 
Аѵ количество тех пар * для которых (<п, п>) < 

$ А + С ? не превосходит С 1 * 2 ^ , а количество тех пар 

, для которых ?(<*) + /(п) < А > при больших 
А становится больше С 1 » Я ^ . 

Однако верна такая 

Лемма 3 . (ТѴ^ почти не хуже /А/х 4 • 

Доказательство . Пусть ^ : ІЪІ * ЯѴ - всюду определенное 
инъективное отображение, для которого 

1(у(м } уО) <; + 2М + К*) + С 

при всех № и Уі и подходящей константе ^ . Построить 
такое ^ можно, наприлер, следующим образом. Сопоставим каж¬ 
дому числу и. слово и в алфавите {о,1} , получающееся 
из двоичной записи числа 1+ и отбрасыванием первой едини¬ 
цы. Через V обозначил слово, получающееся из слова V 
удвоением каждой буквы (заменой 0 на 00 и I на II). Теперь 
определил функцию ^ так, чтобы = ІсЩоіилХ 

После того, как функция Ф с указанным свойством по- 
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строена, мы можем определить способ кодирования 
і С С МП\1д_ х іНі_) так: - <Д- , х'), ^і^)~ , і-> , 

если ^(ОДч-1) ~ ѵь » если п > 

4М - О , если к . Ясно, что 

( [№_!_* П\1 ± ,{ <*>}) < 0-Ы)+ і(к)+ $.&>^6(к)+ С. 
Остается воспользоваться предложением 2 из 2.5.^ 

Лемма 3 позволяет применить к случаю X ~ П\І х такое 

Следствие 2 предложения I . Пусть X - такое регуляр¬ 
ное пространство, что X почти не хуже X * X . Тогда 

для всяких пространств М и А/ найдутся такие С х и С 2 , 
что для всяких задач и р в пространствах № и N 
соответственно выполнено неравенство 

6^ А р) ^ КхГ'О + (Й 4-Сі&у( Крі*) +К у (р)) 4- 

3.2.2. Дизъюнкция . 

Если дяя случая конъюнкции мы имели лишь неравенство, 
ограничивающее сверху энтропию Я л р , то энтропия дизъ¬ 
юнкции оі ѵ (ь задач «1 и р определяется энтропиями ис¬ 
ходных задач. Точную формулировку этого утверждения дает 

Предложение 2 . Пусть X - регулярное пространство, 

М , А/ - два пространства. Тогда существует такая 
константа С , что для любых задач оі и р в пространст¬ 
вах /И и А/ соответственно имеет место неравенство 

I к; х (=іѵр) - ^ с. 

Это предложение показывает, что дизъюнкцию задач оС и 
р решить так же трудно (с точностью до ограниченного сла¬ 
гаемого) , как решить более легкую из задач ^ и ? . 

Доказательство . Докажем, что существует С , дяя ко¬ 
торого К к 6^- ѵ р) < К^) ■+ С. В самом деле, пусть 
4* - оптимальный способ описания. Рассмотрим 
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способ описания ^ <ь 63 ( у ^ М ■+ IV) , являющийся компози¬ 
цией с о .(, отображения ^ с отображением вложения 
I 6 С(М , М + Л/) • Очевидно, ^ , откуда 

и следует указанное неравенство. 

Аналогично получаем, что ^ ^ ѵ р ) ^ + С • 

Осталось доказать, что 

Пусть ^ 6 С С Х у м Л/') - оптимальный способ описания. 

Построим способы описания ^ <г С(Х у М) и ^ С[Х^) 
следующим образом: 

і 1 М , если 4^) = -^М 4 -лу или /(*)<аЛ/ 

^ , если ^(х)е М 

_ і 1^, > если фМеЫ\ 

Очевидно, ѵр) ~ тёи М> К 

откуда и вытекает требуемое неравенство. ^ 

3.2.3. Импликация 

Пусть и р задачи. Назовем энтропию задачи 
X > р условной энтропией задачи р при известной 
Ее иногда мы будем обозначать также |б(р |«0 • Величина 
К ($ I оі') показьшает, насколько трудно решить задачу /? 
в предположении, что решение задачи оі. известно. 

Обсуждение свойств условной энтропии мы отложим до 
п. 3.4, где будут доказаны некоторые связанные с ней нера¬ 


венства. 




Пусть Ф(р ± ^, рО - пропозициональная формула в 
языке, содержащем А , V , и Г (ложь). Если вместо 
переменных подставить задачи 

и понимать Л , ѵ и Г в описанном смысле как операции 

над задачами, то возникнет некоторая задача, которую естест¬ 
венно обозначить Ф ( о*і «О * Оказывается, что 
эта задача всегда разрешима и, более того, ее энтропия огра¬ 
ничена константой, не зависящей от выбора задач . 


Прежде чем сформулировать точно это утверждение, дадим не¬ 
которые пояснения. 

Пусть 4>(рь } р к ) -формула, < = А*>, 

= задачи. -Заметим, что пространство задачи 

определяется пространствами Хі, ...,Х И 
и не зависит от выбора множеств ,...., А м . Поэтому мы 


являющийся решением задачи 


можем корректно обозначить его ... Х к ) 

Теорема . Пусть фр*) ~ выводимая формула 

интуиционистского исчисления высказываний, Х^,..., X ^ 
пространства. Тогда существует вычислимый объект в простран¬ 
стве X.) , являющийся решением задачи 

А ь >) при любых А* с. X* . 

Следствие . Энтропия задач Ф А 4 >,. ? . Л <Х К| Ак>) 
(при любом выборе пространства описаний) ограничена констан¬ 
той, зависящей только от пространств Х<; и пространства опи¬ 
саний (и не зависящей от выбора _ А і ), ^ 

Эта теорема даст нам также возможность (в 3.4) „единым 

образом доказать ряд неравенств для энтропии. 



Доказательство теоремы ведется индукцией по выводу 
формулы. Технически удобнее рассматривать интуиционистское 
исчисление высказываний в форме, приведенной в книге А.Г. Дра- 
галина [5] под названием пропозиционального фрагмента МРС^ 
(схемы аксиом и правила вывода I - II на с. 21). Эта формули¬ 
ровка состоит из следующих схем аксиом и правил вывода: 


I) 

У р :>ѵр 

2) 

ср р у 

'Г^п 


Г 


г => 

Л 

3) 

Л у ѵ\ 

4) 



(Г * Ч) 


4* /ч ’р о 

*1 

5) 

ц> лУ Р 

6) 


л У 3 

7) 

у 7 т? 

8) 

_ 



'р ^ 


9) ѵ у 10) ^ улѴ 5 

II) Г г> <р 

Нам надо проверить, что для каждой аксиомы выполнено утверж¬ 
дение доказываемой теоремы и что если оно выполнено для по¬ 
сылок правила вывода, то оно выполнено и для его заключения. 
Эта проверка происходит довольно просто; тем не менее наметим 
ее. 

1) Если объект - постоянное вычислимое решение 

задачи <р ;> у , а объект $ - постоянное вычислимое решение 

задачи ір , то результат применения а к $ является 
постоянным решением задачи у . Его вычислимость обеспечи¬ 
вается леммой 3 из п. 1.5. (Указания на то, в каких простран¬ 
ствах лежат рассматриваемые объекты, мы опускаем, так как они 
очевидно восстанавливаются.) 

2) Если объект (X - постоянное вычислимое решение за¬ 
дачи ѵр :> ѵр , а (? - постоянное вычислимое решение зада¬ 
чи у ^ и , то Ь 


о а - постоянное вычислимое решение зада- 
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чи ^ -=> у (Его вычислимость гарантируется леммой 5 из 1.5.) 

3) Применяем к постоянному вычислимому решению задачи 
У к У о ^ стандартный изоморфизм С(Х* У, Н.) —* 

~^С(Х ) ССУ / ’&У) , описанный в п. 1.4.4. 

4) Аналогично предыдущему пункту с заменой изоморфизма 
на обратный. 

5) Искомым вычислимым решением является отображение про¬ 
екции ^ : X * У —» X » определенное формулой )= ос.. 

6) Искомым вычислимым решением является отображение 
/; X * У — 4 У х X » определенное формулой 

= <>' л> 

7) Искомым вычислимым решением является отображение 
I- X- X х X , определенное формулой ^(х) г <Ъе 

8) Этот пункт несколько сложнее предыдущих. Пусть 
X , V , 2 - пространства задач у , чу , ^ * 

СК ^ С (X, 2.) - постоянное вычислимое решение задачи 

, в С (У,4:) - постоянное вычислимое решение за¬ 
дачи у о ^ . Построим с 6 С(Х + У / Ъ) следующим 

образом: 

Д ^ , если -Ь - ± х+у 

& - Іс\1±)> ѳсли 

\4 №), если і: 6 V 

(Мы предполагаем, что X и У не пересекаются; если это 
не так, следует внести очевидные изменения в определение С .) 
Очевидно, С является непрерывной функцией и, более того, 
вычислимым объектом пространства СІХ + Ѵ) 2) . Это С 

и будет решением задачи у ѵу ^ % 

9) Решением является стандартное вложение X в Х+Х 

10) Решением является очевидный изоморфизм Х+Ѵ-=»Ѵ+Х. 

11) Решением является объект (X -ѵ Л)* 
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Теорема доказана. 

Отметим, что, очевидно, в условиях теоремы нельзя заменить 
интуиционистское исчисление высказываний на классическое: 
формула и -7 ѵ 5 ѵр не обладает указанным в теореме 
свойством ( Чоб - сокращение для оі о Р ). 
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3.4, Неравенства для энтропии . 

В этом пункте мы выведем из теоремы п. 3.3 некоторые 
следствия, касающиеся энтропии. 

Предложение I . Пусть 

выводимая формула интуиционистского исчисления высказываний, 

Хі . Х^- пространства, У - регулярное пространство 

с объемом. Тогда существует такое С , что для любых задач 
- < X ± . ( оі к = <у Л выполнено неравенство 

к* с^,...,**))■+ е. 

Доказательство . Согласно теореме п. 3.3 существует вычи- 
слимый объект ^ <с С ( 4?(%^ г . , ^(%±, • У-)) 

который переводит любое решение задачи Ф (^^ } . ,, у в 

некоторое решение задачи Ч'(ы.± , ... і (при любых 

Аа.,..., А к ). Остается воспользоваться предложением I из 
п. 2.5. ^ 

Следствие . Пусть д - регулярное пространство с объ¬ 
емом, ІЛ , А/ - пространства. Тогда существует такая кон¬ 
станта Сі , что для любых задач <л - </и ; д> , р = <л/,е> 
имеют место неравенства 

(1) /<х (-О < * х (.4лр) + е 

(2) /І Х ((П К х ^4 А( і) + е 

(3) < /К'хС^^е 

(4) КхСріі к х (Ул («4 = (5))-*-е 

(5) і(б х (ѴІ (3 < /б х (^) 

(6) ^х(о4Л|2 | ^.) <; к х ^; 

Доказательство . В самом деле, в интуиционистском исчис¬ 
лении высказываний выводимы формулы ^ а ^ ^ ^ л у у , 

Приведенный список неравенств можно продолжить, взяв 
другие выводимые формулы, имеющие вид импликации. 



~ь%~ 


3.5. Логика задач . 


Рассмотрим множество С? пропозициональных формул, 
для которых справедливо утверждение теоремы п. 3.3. Эта тео¬ 
рема утверждает, что множество Н выводимых в интуиционист¬ 
ском исчислении высказываний формул является частью (3 . 

При доказательстве теоремы п. 3.3 было установлено также, что 
Сі замкнуто относительно правила 'Укосіиі рстпь 
Очевидно, О замкнуто и относительно правила подстановки 
и, следовательно, является суперинтуиционистской логикой. 

Так как Р 4 - б , то эта логика непротиворечива, и, следо¬ 
вательно, является частью классического исчисления высказыва¬ 
ний. Если обозначить множество тавтологий (^выводимых в кла¬ 
ссическом исчислении высказываний формул) через С , то 
можно записать: Н С <2. с С . Как отмечалось в 3.3, 


второе из этих включений - строгое. Следующее предложение по¬ 
казывает, что первое из них - также строгое. 

Предложение I . Н О 

Доказательство . Рассмотрим следующую"формулу Дж. Роуза": 
к - С (ту у ^(крѵтпр)) ж> (і? чту), где - 7рѵ7^ 
(Напоминаем, что есть сокращение для оі Р .) 

Как известно (см., например, [іо] ,с. 143), Р 4 И . Докажем, 
что К <г (5 . Заметим, что каково бы ни было пространство 
задачи ^ , пространство задачи іоі одноэлементно, так 

как С(Х ) р) изоморфно р ( Р- пространство из одного 
объекта а , см. І.2.І). Задача ~і и. есть < Р> » 
если непуста (имеет хоть одно решение) и есть р у , 

если пуста (не имеет решений). Пространство задачи 

ч оі ѵ п |? имеет вид а ^ 

(изоморфно пространству рч* Р ); 
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объект <я (соответственно @ ) является ее решением тогда 
и только тогда, когда задача ^ (соответственно р ) непус¬ 
та. 

Пространство задачи о у> изоморфно пространству 

задачи. ^ , так как пространство задачи одноэлемент¬ 

ное. Отождествляя их, можно сказать, что решениями задачи 
“7 7 у 7 ** Р являются все объекты пространства задачи у 7 , 
если пуста, или решения у 7 , если у 7 непуста. 

Пусть = (77р<г' )~>(7у> ѵ Объектами 

пространства задачи ^ являются непрерывные функции из 
пространства задачи 11 у :> у , отождествленного нами с 
пространством задачи у » в пространство задачи 

имеющее вид---— 

Функция является 

решением задачи 5* , если она: 

(1) переводит все решения задачи у в & , если задача 

р непуста; 

(2) переводит любой объект пространства задачи у 7 в 
С{ , если задача у? пуста. 

Построим функцию ^ из пространства 
задачи $ в пространство задачи іуѵі 

(имеющее вид-—- ^ 

Именно, 

& , если значение функции ^ на всех объектах равно # 
4 , если значение функции ^ хоть на одном объекте 

равно $ ; 

Л. , если не имеет места ни один из указанных случаев. 
Легко видеть, что какова бы ни была задача , функция ^ 
переводит любое решение задачи $ в решение задачи 
"7 у 7 ѵ • Таким образом, Р является решением задачи 






-до¬ 


вели является непрерьшной. (Это может быть и не так, если 
пространство задачи ^ бесконечно). Однако поскольку в 
формуле /2 в качестве ^ взято ~ір ѵ , то, как 
легко видеть, ^ действительно является непрерывной и, 
более того, является вычислимым объектом пространства задачи 
, какие бы пространства мы не взяли в качестве прост¬ 
ранств задач р и ^ . Предложение доказано. ^ 

Формула была предложена Дж. Роузом [7й] как пример 

реализуемой в смысле С.К.Кяини [.6 ] , но невыводимой формулы. 
Любопытно отметить, что другой пример реализуемой, но невыво¬ 
димой формулы - "формула Цейтина", имеющая вид 
((.Н|},1 О ^ V & —? ( рі- ^ Р'-О) 35 / 

- не принадлежит & . Это показывает, что О. отличается 
от логики финитных задач Медведева [з] (которая содержит 
эту формулу). 



4.1. Различные алгоритмические варианты понятия энтро¬ 
пии конечных объектов как частные случал нашей схемы . 

В этом пункте мы покажем, как различные рассматривавшиеся 
алгоритмические варианты понятия энтропии могут быть получены 
по нашей схеме с помощью подходящего выбора пространств объ¬ 
ектов и описаний. 

4.1.1. Простая колмогоровская энтропия 

Цуеть X - іМх . ^ ~ . Рассмотрим X со стандартным 

объемом (п. 1.6) как пространство описаний и рассмотрим функ¬ 
цию 

к ы = К х (Г*) 

(В данном случае Г к - ■{'п} ) 

Предложение I . Кбп) совпадает со сложностью 71 в 
смысле А.Н.Колмогорова [?] 

И сложность по Колмогорову, и (С определены с точно¬ 
стью до ограниченного слагаемого, поэтому, говоря о их совпа¬ 
дении, мы имеем в виду совпадение с указанной точностью. 

Доказательство . Рассмотрим, какие возможны способы опи¬ 
сания объектов с помощью объектов ІЫ± . Пусть 

^ ё С(ПУх і Мх) . Если ^(-1*) _ 4г е П\[ , то 
для всех ос ^ 1 1Ух . Если же ^С-і)-_{_, то функция 
(при х^ ІЬІ ) представляет собой частично рекурсивную функ¬ 
цию, доопределенную значением Л- там, где она первоначально 
была не определена. Эта функция может быть любой частично 
рекурсивной функцией. После этих замечаний (и знакомства с 
определением Колмогорова) предложение I становится очевидным.^ 
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4. 1.2. Условная колмогоровская энтропия . 

В работе \?\ А.Н.Колмогоров определил также понятие 
условной энтропии (сложности) числа эс при известном числе 

, обозначаемой 

Предложение 2 . (Х^Ѵ/> 

(здесь < /7Ѵ^ Г х >. < ЛѴ^ , - задачи в пространстве /А/^ 

их импликация - задача в пространстве С ^ /Л/ х /ІѴ^') ; знак X 
означает сопадение с точностью до ограниченного слагаемого, 
см. замечание к предложению I.) 

Доказательство . Прежде всего напомним колмогоровское оп¬ 
ределение величины К С^І^) » стоящей в левой части доказыва¬ 
емого равенства. 

Пусть 6- - частично рекурсивная функция из ІЬ' в 

/Д/ . Колмогоров определяет К&Ы#) по формуле 

К & і Ь’^Сі+1-') I ОСЪ-,/) = ■х.} 

(некоторые несущественные технические различия мы не оговари¬ 
ваем). Среди всех функций 6г существует такая, для которой 
минимально (для всякой О / существует такое ^ , 

410 ^ ^6* + С- ). Функция ^ для одной из таких 

О и называется условной энтропией. 

А. Покажем, что при подходящем С 

К (х-Іу) < ( 9 => г х ) + С (8) 

для любых х. я у . Цгсть ^ & С(Л\Іх , С-ПИа ., 

- оптимальный способ описания. Рассмотрим его образ ^ при 
стандартном изоморфизме 

с с /А/д., е Шл., ы м )) * С(ІЫ Х *1Ы±, /ѵ х ) 

Очевидно, для любых “6 , ^ имеет место эквива- 

й) Мы будем вместо ([]Ѵ ; Г х ) и <(|іѴ,Г^> коротко писать и . 
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лентность 


І(І) 6 (Гу Э і х ) «=> $■ (-І, у) - ° с - 
Цри определении К-р ( д> / ^) 
можно не рассматривать Л- в качестве описания (так как 
если ^(х)^ Г^>Г Х .той ^(ѳ)ё Г^Г Х и Ц±.) =Ш) • 
Определим частично рекурсивную функцию ^ из /А / 2 в /А/ , 
положив 




, если 

не определено, если X 

С учетом сделанных замечаний получаем, что 
/</р (эс 1^,) = Г^)^ откуда и вытекает (х). 

Б. Покажем, что при подходящем С для всех эс и ^ 
выполнено неравенство 

^/А/ х 

Пусть & функция, для которой ^ (*/^) минимально. 

^ .* ПѴ^х * йу/ х , определенную фор- 


(Г„=>Г Х ) ^ К (*■!?) +С 


Рассмотрим функцию 
мулой 


X если х =1 


или 

г(х^если и &(?<,, у) определено 

.X, если (с/Д/ и с 5(х,^) не определено 
^ является вычислимшл объектом пространства 
? /А/ д_^) ; пусть - соответствующий ей 

при стандартном изоморфизме объект пространства 
С ( ГЫх. 7 С(1Ым , ГЫ ± )). Легко видеть, что 
К- (Г^^Гх,) - К^.Су>(ос) , откуда и вытекает интересующее 
нас неравенство. Предложение 2 доказано. ^ 
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Функция 

с (ПѴ ± х /IV 


4.1.3. Энтропия (сложность) разрешения . 

В т приведено следующее определении энтропии (на- 
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зываемой там сложностью) разрешения. 

Цусть Р - частично рекурсивная функция из [Ы * (К/ 

в { 0 / і } . Сложностью разрешения слова ос в алфавите 

{0,і} относительно Р называется величина 

кя Р (ос) = 'тіп {е(р)\і &і «гм Р(р.о = 

Здесь - объем натурального числа /э , 1(х)- объем 

(=длина) слова X- , ОС^ - I -ая буква слова ЭС . 

Среди всех частично рекурсивных функций из /А/ */Л/ в {0,1} 
существует оптимальная р , для которой ККр миншлальна сре¬ 
ди всех /6/2^ (с точностью до ограниченного слагаемого). 
Сложность разрешения слова ос относительно фиксированной опти¬ 
мальной функции Г и называется энтрртщй разрешения слова 
ос. . Она обозначается КК(х Д 
Предложение 3 . 

К я (*) X К /N/«2, Сх>) 

(напомним, что 52 - пространство всех конечных и бесконечных 

последовательностей нулей и единиц, Гх - множество всех про¬ 
должений конечного слова ос , знак X означает совпадение 
с точностью до ограниченного слагаемого). 

Доказательство . Цусть І~ - частично рекурсивная функ¬ 
ция, для которой минимально среди всех КК& (с точ¬ 

ностью до ограниченного слагаемого). Построим способ описания ^ 
объектов 5? объектами Ых » положив 

#х)=± , #-п) = ГКо)Р^И)- 

где И - наибольшее число, для которого все значения 

РКО) у РС'Ѵч, 1),... 5 Р(т\, &) определены. Если Р('И.Д) 
определено при любом і , то положим - Р^О^РС'И, 1)... 

Нетрудно видеть, что ^ действительно является вычислимым 
объектом пространства С ( 0 3і) и что (<С 2 , Ту>) = К Я р > 

Отсюда получаем, что при подходящем С для всех X выполне- 



- 7.Г- 


но неравенство (<' 3 > Г Х У) ^ КК р (*) + С . 

Обратно, пусть ^ - оптимальный способ описания объ¬ 
ектов 3 с помощью объектов ПѴ Х . Рассмотрим функцию (т 
из [і\[ * ПѴ в {0,1} , определенную так: 

&(п>і) = і -ый член последовательности ^(*п.) 

(Если ^(п) слишком короткая и не тлеет і -го плена, то 
&(' п , С) не определена для таких ’П и і ) . Функция 
Сг частично рекурсивна, так как &Ы, і) - А тогда 
и только тогда, когда существует последовательность из 
с + 1 нулей и единиц, последний член которой равен А и 
для которой ('Ѵі I—» Л.) < . Нетрудно видеть, что 

кя & с^) = /с^«5г,о)( в самом деле, Г х >) ~ 

аіл^-С в ("О I начинается на х } и правая часть не 

изменится, если исключить случай "6= X , так как ± < О 
и вЩ-в(6 )=0). Отсюда следует, что при подходящем С для 
всех х выполнено неравенство ^Я(х) ^ + С. 

Предложение 3 доказано.^ 

4.1.4. Префиксная энтропия . 

В работе [2] дается следующее определение префиксной 
энтропии. 

Частично рекурсивная функция из множества {о,і} -слов в 
множество натуральных чисел называется префиксной, если она 
удовлетворяет условию: В(х) - В(х9 , если х - начало ос \ 
В(х) и &(%') определены. По црефиксной функции В опреде¬ 
ляется сложность і ^(р) I В('р') - х} 

Существует такая частично рекурсивная префиксная функция А , 
что для любой другой частично рекурсивной префиксной функции 
/3 найдется С » при котором для всех эе. справедливо 
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неравенство К Р^ (*) < (х) + С . Выберем одну из функций 

А , обладающих этим свойством. Соответствующую ей слож¬ 
ность КР А Ы) будем обозначать КР(х-) и называть пре¬ 
фиксной энтропией. 

Следующее предложение показывает, каким образом префикс¬ 
ная энтропия может быть получена по нашей схеме, если прост¬ 
ранством описаний считать 5 ? . 

Предложение 4 . 

КРЫ) Ж К2 (<^х, Г *>) 

Доказательство проходит аналогично доказательствам цред- 
дожений I - 3, если воспользоваться следующей леммой. 

Лемма I . (а) Пусть ^ - вычислимый объект пространства 
С^Аі). Тогда функция Р из множества конечных |0,і}- 
слов в (И , определяемая формулой 

4- , если Ф Ф- 

не определено, если -X 

является префиксной и К К р[п) - для всех (І\1. 

(б) Цусть Р - префиксная функция. Тогда формула 

РМ, если Х / - начало слова х , на котором 
Р определена; 

I х , если РМ не определено для всех начал 

х' слова X; 

определяет вычислимый объект ^ ^ С (3 , 1^±) и 
К&рС'Ь') = К? (< ЯѴ Э Гц}) для всех п ^ А/ . 

Доказательство , (а) Если РГх) , определены и х - 
начало х / , то Р(*) = ^(х), Рбс') в силу 

монотонности ^ и, значит (так как ), 

Вычислимость Р и равенство - (у^ ^ Пн>) 

очевидны. 

(б) Заметим прежде всего, что определение ^ корректно: 




= 
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если х 1 и ос'* - различные начала х , на которых Р оп¬ 
ределена, то Р(^)^Р(х'0 в силу префиксности р . Непре¬ 
рывность функции $ легко проверяется с помощью леммы 5 из 
п.. 1.4.3.3. Вычислимость <( и равенство І<& р ( / п.) = 

= ^«/Л/ 3 Г*>) ясны.^ 

Предложение 4 доказано.^ 

4.1.5. Монотонная энтропия . 

В работе [2] на с. 33 дается следующее определение моно¬ 
тонной энтропии. 

Заданием алгоритмического оператора называется любое пе¬ 
речислимое множество А пар конечных последовательностей 
нулей и единиц, обладающее свойством: 

если <х^>бА , <рс'у>«:Д, х и х' совместны, то 
У И У . оошѳотны (совместность = наличие общего продолжения). 
Пусть А - задание алгоритмического оператора, а оі - конеч¬ 
ная или бесконечная последовательность нулей и единиц. Значе¬ 
нием А на оС называется (конечная или бесконечная) после¬ 
довательность нулей и единиц, полученная объединением всех 
таких у , что <х ( ^>^А при подходящем конечном начале 
х последовательности оі . Эта последовательность называ¬ 
ется А(°0. 

Таким образом, каждому заданию алгоритмического оператора 
соответствует отображение 2 в 2 . Эти отображения и на¬ 

зываются алгоритмическими операторами. 

Для цроизвольного алгоритмического оператора В> опреде¬ 
ляется монотонная сложность конечной последовательности сс 
относительно В : Км в (х)=й,|-(е(р)| 3 с б в(р)} 

х) В [Я] вместо "КМ" используется обозначение “&тги". 
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Существует такой алгоритмический оператор Д , что для лю¬ 
бого другого алгоритмического оператора В найдется такое 
С у что цри всех ос выполнено неравенство 

ісм А м $■ а м в <*)■■*-с. 

Выбираем один из операторов А , обладающих этим свойством, 
и соответствующую сложность /<Мобозначаем ^ М ( х ) и 
называем монотонной энтропией . 

Монотонная энтропия получается по нашей схеме, если про¬ 
странством описаний и пространством объектов считать простран¬ 
ство 5? 


Предложение 5 . 

км(х)* к $«$, г х » 

Доказательство . Это предложение легко следует из такой 
леммы. 

Демма2. Множество алгоритмических операторов совпадает 
с множеством вычислимых объектов пространства С(Я,52) 
Доказательство леммы . Нетрудно проверить, что каждый 
алгоритмический оператор задает вычислимый объект простран¬ 
ства С(3., 5?) . Обратно, пусть / 6 С (5, Я-) -вычисли¬ 

мый объект. Рассмотрим множество 

д __ ^ I ос, у, - конечные последовательности -ч 

0 I нулей и единиц, (осі —* у) $: ^ 5 

Оно перечислимо. Нетрудно проверить, что оно является задани¬ 
ем алгоритмического оператора, совпадающего с $ .^ 
Предложение 5 доказано.^ 


4.1.6. Оптимальные нумерации и энтропия . 


К.П.Шнорр (см. СЩ / Д/]/42]) ввел понятие оптимальной 
нумерации множества ^ частично рекурсивных функций одной 
переменной. Прежде чем восцроизвести определение Шнорра, на- 
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помним, что вычислимой нумерацией множества и называется 
всюду определенное отображение [М на , образ которого 
есть всё *1 и функция 

Ы,ъ) — ПѵЧ'шУр'И) 

есть частично рекурсивная функция из П\І*ПѴ в N . 
Говорят, что войду определенная функция •& сводит нумера¬ 
цию У множества к нумерации ул того же множества, 
если ул(А(лі)) = У(Ѵі) ДЛЯ всех Ла е /А/ . 

Вычислимая нумерация ул множества 2 называется 
оптимальной по Шнорру, если для всякой вычислимой нумерации 
У множества ^ существует общерекурсивная функция /и , 
сводящая у к у , дня которой при подходящем С и всех 
ЛЬ выполнено неравенство Л іА(ль)) < і.(_лъ) + С 

Говоря неформально, нумерация ул оптимальна, если 
по любому номеру любой функции в любой вычислимой нумерации 
У можно указать у -номер той же функции, причем ненамно¬ 
го более длинный. 

Нетрудно доказать (см. ЕДІІ ), что оптимальные нумерации 


существуют. Зафиксируем одну из таких нумерации и обозначим 
ее у . Будем называть энтропией частично рекурсивной функ¬ 
ции у число КСЧ 1 ) - бп/ ^ ^ (гС) | ^С('н) = . 

При замене уі на другую оптимальную нумерацию величина 
К останется неизменной с точностью до ограниченного сла¬ 
гаемого. 

Покажем теперь, каким образом это понятие (по существу 
то же определение рассматривалось В.Н.Агафоновым [1] ) мо¬ 

жет быть получено по нашей схеме. 


Предложение 6 . 
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Заметим, что, согласно предложению 2 из п. 2.3 и замечаниям 
из п. 1.5.4 энтропия задачи конечна для тех 

и только тех. , которые являются частично рекурсивными. 

Доказательство . Пусть оптимальный способ 

описания, уК. ПѴ 7” - оптимальная нумерация. 

Рассмотрим нумерацию У : у( о) - (ппіі) ^ ^(п). 

Очевидно, У - вычислимая нумерация множества . Соглас¬ 
но определению оптимальности, существует общерекурсивная функ¬ 
ция / , для которойи ШЫ) ^ ві'п'і + С. 

Если У('н) , то КСч) Е (РѵЫ)) < і)-еС 

Отсюда и из определения У легко вывести, что 

Кл, м (< 1Р,1г}»+с! 

Докажем обратное неравенство. Цусть ^ - способ описания, 
определенный так: - нигде не определенная функция, 

аГпЛ - м (п) • Очевидно, % является вычислимым объектом 

* М>)*К«е). т 
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4.2. Неравенства, связывающие различные виды энтропии. 

Б этом пункте мы покажем, каким образом многочисленные 
известные неравенства, связывающие различные виды энтропии, 
могут быть получены как следствие доказанных нами общих 
теорем. 

Следствие I . К (ос) ^ К РМ 

(Запись -}-(к) 4 9( х ) означает, что найдется такая константа 
С , что для всех % верно неравенство -^(х)^^(ос) + С.. ) 
Доказательство . Следует воспользоваться предложениями 
1,3,4,5 из п. 4.1 и тем, что ЛѴ]. не хуже 5? (предложение 
3 из п. 2.5) ^ 

Следствие 2 . КР(ос)^ КМ + К (ос) 

КЯМ 4 КМ (х) Ч- 

при подходящем С. 

Доказательство . Следует воспользоваться предложениями 
1,3,4, 5 из п. 4.1 и тем, что 52 почти не хуже ЛѴ^ (пред¬ 
ложение 3 из п. 2.5) 

В следствиях I и 2 сравнивались энтропии объектов одного 
сорта (чисел для К и КР и слов для КР\ и К К ). 

Чтобы сравнить, к примеру, Р с К К , нужно установить соот¬ 
ветствие между натуральными числами и словами, положив, к при¬ 
меру, что числу X соответствует слово, получающееся из 
двоичной записи числа эс+1 отбрасыванием первой единицы. 
(Впрочем, годится и любое другое вычислимое взаимно однознач¬ 
ное соответствие.) Пользуясь этим отождествлением, мы можем 
говорить об энтропиях К (ос.) и КрМ двоичного слова 'ОС . 
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Следствие 3 . К Я (у-) ^ К (ос) 

КМ (ос) 4 КРМ 

Доказательство .Рассмотрим вычислимое непрерывное отобра¬ 
жение 4- м х -*2 , сопоставляющее объекту X пустое сло¬ 
во, а каждому числу эс - соответствующее в указанном смысле 
слово ос . 

Так как ^(ос) П- , то, согласно предложению I из 
п. 2 . 6 , имеет место неравенство 

АГ* (<2, Г*» « /< х С<ІЫ±,Ю» 

Остается взять 5? и в качестве X и сослаться на црѳд- 
ложения 1,3,4,5 из п. 4.1. щ 

Учитывая очевидное неравенство К(оО^((х) и следствия 
I - 3, получаем такое 

Следствие 4 . К (ос) 4 

Крс-х) < (!■(*-)+ а 


Чуть более сложно доказывается 

Следствие 5 . К(ос) 4 КЯ (К) + С ІЬс) 
при подходящем С . 

Доказательство . Рассмотрим вычислимую непрерывную функ¬ 
цию $ из 5 * ЯЧх в /А(х . Именно, положим 

число, соответствующее начальному от¬ 
резку слова у длины Л , если 

Ае (К и 

^ X , если Д = _ 1 _ или %)< А 
Применяя к ней предложение I из п. 2.6, получаем, что 

Крѵ х «Мл,Ы» * «5?Д> Л <ІЫ Х? Н*І» 

Применяя следствие 2 предложения 1-Л из п. 2.2, это неравен¬ 




ство можно продолжить так: 
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(<іМ.,{х}» 4 г*>) + ксЦх))-#- 

«і* 

4С, І е}2 (К т/м « 9 ,ъУ+ КЩх))) 4 КН(ъ)+ С&^ІСх.) 

(при последнем переходе мы пользуемся неравенствами из след¬ 
ствия 4). 

Объединяя доказанные результаты, можно составить таблицу 


и сак ид 

1 — - 

[Ыі. 

Я 

іи л 

к і 
\ и 

■ КР 

\/) .... 


V/ 

КЯ 

V/ 

км 

і 


В этой таблице К Я - наименьшая, КР - наибольшая из энт¬ 
ропий; из следствий 4 и 5 вытекает, что они (и, значит, все 
четыре энтропии) отличаются не более чем на С 6 (ос) 

Покажем, что эта оценка точная, то есть что разница меж¬ 
ду любыми двумя энтропиями из этой таблицы может быть по поряд¬ 
ку равна •Со^ С(к) . Достаточно рассмотреть две "средних” эн¬ 
тропии к и и показать, что разница между ними прини¬ 
мает как положительные, так и отрицательные значения, по поряд¬ 
ку равные 

Предложение I . Существует константа ^ и бесконечно 
много таких ос , что КСое) — /СМ (ос) іо^вСх) -С 

а также бесконечно много таких , что КМ (ос) — К (ос) 5 
2 ^( х ) ^ 

Доказательство » I. Пусть слово ОС а состоит из пг нулей. 
Тогда К(х н )*К ( Л ) (напомним, что через К(к) обозначается 
простая колмогоровская энтропия числа ‘П , через К(*»)- эн¬ 
тропия числа, соответствующего слову Х п ), в то время как 
КМ (%п)~ О . Поэтому для тех ІЬ , для которых выполняет- 
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ся неравенство &(*)> - 4 , выполняется и неравен¬ 
ство к(Хн) - КМ Таких 'Уі бесконечно мно¬ 

го (см. ІС! ), поэтому и слов эс , для которых 
/<('х) — КМ(х)? іо^ііх,) - С , бесконечно много. 

2. Рассмотрим последовательность слов Х к , ни одно из 


которых не является началом другого, для которой 

іі х п) ^ ^г іг + 2^2 -н С 

построенную при доказательстве предложения 3 из п. 2.5. 
Имеем: К(я п )>гкМ С другой стороны, 

прообразы множеств Гх при оптимальном способе описания 

Аі. 

4<<ия,я) не пересекаются, поэтому 

А/ А А 

21 /7м (х*) - х 

у\~л X 


Сравнивая это неравенство с неравенством 

Л~ а N і 

X Л Л гг- I ~ Л Я 


5 С -І 2_ а > ^2 ^2 ^ 

К=1 і » = І 

мы видим, что для любого Д/ найдется такое п < N , что 


"71 -ый член второй суммы в С 2 Р аз больше Аг -го 

члена первой, то есть 

2 к(х*) ^ ^ 

или ^ ^ М(*к) - іс^ х Ы + С 3 (*) 

и КМ(Х П ) - Щх^Ъ Ь^Ьо^з. А/ - <?з 
Остается заметить .что г А/ * ? й>| 2 ІЫн) -С ч 

(см. выше неравенство для длины ) и что среди слов , 

построенных указанным способом для разных А/ , бесконечно 


много различных (это вытекает из неравенства (х)). 
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4.3. Априорная вероятность и ее свойства . 

В работе Ш вводится понятие априорной вероятности. 

В этом пункте мы проанализируем свойства этого понятия с точ¬ 
ки зрения нашей общей схемы. 

Пусть У - произвольное пространство, ■( 6 С [&.>)() 

- способ описания. С каждой задачей оі - <( X ; , для кото¬ 

рой А является борелевским подмножеством пространства У , 
свяжем число 

-уд. 2 ч .2* I 6 А}) 

где у* - равномерная бернуллиевская мера на множестве 

^ 52 * бесконечных последовательностей нулей и единиц 
(через мы обозначаем множество конечных последователь¬ 

ностей нулей и единиц). Это число представляет собой вероят¬ 
ность такого события: при бросании симметричной монеты воз¬ 
никнет последовательность нулей и единиц (соответствующих 
орлам и решкам), являющаяся описанием решения задачи оС . 
Коротко мы будем называть число Р^До^ вероятностью реше¬ 
ния задачи при способе описания ■( 

Предложение I . Среди всех способов описания существует 
оптимальный, то есть такой способ описания $ & С(52 } X) 
что для любого другого способа ^ е X) найдется такое 

С > О , что для любой задачи оі. в пространстве X вы¬ 
полнено неравенство («О ^ С- 

Доказательство . Пусть & : 52 —- способ опи¬ 
сания, при котором & ( 0^ при всех 

К <= N их б52 , а &(0^) = _1 (здесь 0* обозна¬ 
чает слово из 4 нулей). Для этого способа описания выполне¬ 
но такое неравенство: если В с 52 ~ борелевское множе- 



ство, то 




В самом деле, & *{ъ}) состоит из всех последовательно¬ 

стей вида О* 1 '/ ос , где х ё В • Рассмотрим теперь вычислимыЗ 
объект и ё С(Я.*П\І л,Х) , среди сечений и п : х\-+и(<эс,пу) 
которого встречаются все вычислимые объекты пространства 
С (Я., X) (см. п. 1.5.5, следствие предложения I). 

В качестве искомого оптимального способа описания возьмем 
композицию ^ и к : ф и. о А (г С(Я } X) . Если ^ - 
любой способ описания из С (&, X) , то существует е № г 

для которого ^ (х) г и (<*.,*>) при всех X . Пусть К 
- произвольное борелевское подмножество X . Пусть 
В - {со ^ 2 4 2* [ $ (") ^ ^}. Очевидно, и. (В ^Ч'И-У) ^ К 
и С іи; бЯ'$*І Ь(А(и>У) 6 А} - 

= {со*2^Я*1 {(и>) € А} , поэтому ( < X ; А» •= 

= уи и* с Ь}) > уЧ&'Ч (?%<*чО) = 

= ф+тУ*(Ѵ = іЬі Ѵ<Ч А >) < 

Таким образом, в качестве С можно взять 
Предложение I доказано.^ 

Выбрав и зафиксировав некоторый оптимальный способ ^ , 
мы будем называть (©О априорной вероятностью задачи 
и обозначать Р(<Я) . 

Пусть X = ІК/ Х . Априорную вероятность задачи ( іѴд. 
будем называть априорной вероятностью числа Ог . Аналогич¬ 
ным образом при X - 5 ? мы будем называть априорную вероят¬ 
ность задачи «СЗ?, априорной вероятностью слова 31 . 

Предложение 2 . Введенные таким образом априорные вероят¬ 
ности чисел и слов совпадают (с точностью до ограниченного 
множителя) с введенными в [Я] на с. 26 (априорное распреде¬ 
ление вероятностей на (М ) и с. 40 (полумера М из теор. 
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4.1; см. также [&] * с* 107) 

Доказательство этого предложения мы отложим; предвари¬ 
тельно нам нужно изучить некоторые свойства введенных понятий. 

Пусть X - некоторое пространство. Меру 3 *) Р , оп¬ 
ределенную на семействе борелевскнх подмножеств X * т 
будем называть перечислимой, если множество 
{(^,”1) С Ш х&| Р( перечислимо (здесь V - нуме¬ 

рация всех конечных объектов пространства X , фигуриру¬ 
ющая в определении эффективного ^ -цространства). 

Предложение 3 . Априорная вероятность является перечисли¬ 
мой мерой. 

Доказательство . В самом деле, 

Р ( Г'ос) - /< (-{^^ 3 ІМ} ' 

= уи ( (у { Т-е | -Ьб Я-* о С* >— 
где I* - множество всех бесконечных последовательностей 
нулей и единиц, начинающихся на ~Ь . Так как множество тех 
К ж і; , для которых (V Ы) ѵ— ^ , перечислимо 

(ибо вычислил), из написанного равенства вытекает пере¬ 
числимость априорной вероятности. 

Предложение 4. Если шожество конечных объектов простран¬ 
ства X является деревом 3 ®), то априорная вероятность на 
является максимальной (с точностью до ограниченного и отде- 

зе) Мы рассматриваем только меры с конечными значениями, не 
оговаривая этого специально. 

зек) Деревом мы называем частично упорядоченное шожество, 
обладающее таким свойством: из и у ^ 2 

следует, что X $ у, или у $ ус . 



ленного от нуля множителя) среди всех перечислимых мер: для 
всякой перечислимой меры Я существует константа С > О, 
такая, что для любого борелевского А ^ X выполнено нера¬ 
венство Р ^ С’ ЯС А) 

Из этого утверждения вытекает утверждение цредложения 2, 
так как априорная вероятность (на ПѴ и 3. ) определя¬ 

лась в [^1 как максимальная перечислимая мера на этих про¬ 
странствах, а в них множество конечных объектов является дере¬ 
вом и, следовательно, к ним применимо утверждение предложе¬ 
ния 4. 

Доказательство предложения 4 . Утверждение предложения 
4 следует из определения априорной вероятности и такой леммы. 

Демма I . Пусть множество конечных объектов пространства 
X является деревом. Пусть К. - перечислимая мера на 
X и Тогда существует способ описания 

А & С-СЯ., X) » Д® 1 которого ГА) г: (ѴХ Э А>). 

Если эту лемму считать доказанной, то, поделив любую за- 
данную перечислимую меру^на достаточно большое целое число 

/V , тлеем X (X) ^ 1 , поэтому представимо в виде 

п ^ I А/ 

и не превосходит С • у в силу определения априор¬ 
ной вероятности. Поэтому предложение 4 вытекает из леммы I. 
Осталось доказать лемму I. Предварительно нам понадобится ряд 
оцределений и лемм технического характера. 

Цусть на конечном множестве А ГКІ задан частич¬ 
ный порядок, превращающий его в дерево (т.е. из х< 2 и 
^ ^ г следует х ^ у ш ^ аг ). Пусть каждому 
Хб А сопоставлено двоично-рациональное число 
(двоично-рациональное число = рациональная дробь, знамена¬ 
тель которой есть степень 2), причем выполнены такие свойства: 



1 


-83- 


(а) если X <; • $'л попарно 

не сравншлы, то *х (ос) Ч (у ± ) + _. ч- ^ 

(б) если ^_,...,^ ѵ попарно не сравнимы, то 


6 4. 

В этом случае мы будем называть тройку 


схемой. 
Цример схемы: 



А , порядок на А , 


3 



2 


В данном пункте мы будем называть конечные последовательности 


нулей и единиц коротко сл овами (вместо более полного "слова в 
алфавите |о,і} ). Конечное множество слов, в котором ни одно 
слово не является началом другого, мы будем называть набором. 
Дудем говорить, что набор /Ѵ 2 ши^е набора А / 1 г если всякое 
слово из А4 является продолжением некоторого слова из А/^ . 

С каждым набором N мы свяжем множество ІА/] всех беско¬ 
нечных продолжений всех слов набора А/ . Очевидно, что если 
А^2 шире А4, , то [/Ѵ 2 ] ^ [Мі]. (Обратное, вообще говоря, 
не верно.) Меру множества [А/] мы будем называть мерой 
набора N и обозначать |Л/| . Очевидно, 

I А/1 - 2Г ы} 

Пусть дана схема $ - <^А, . Функцию ^ , 

сопоставляющую каждому ос^А набор ^(х) , мы назовем деаж- 
зацией схемы 5 , если выполнены такие свойства: 

(а) если (х ) & ^ А , ^ $ в смысле порядка на А , 

то ЧЧа) шире ^(6) . 

(б) если О. , А , а и^ не сравнимы, то 

л - Ф 
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(в) для всех <ХёІ\ имеет место равенство = 

Лемма 2. Всякая схема имеет реализацию. Реализацию можно 
эффективно найти по схеме. 

Доказательство . Отметим следующее очевидное свойство 
наборов: если ЛГ , ,..., - наборы, Л* шире всех 

, Л ^ - двоично-рациональное число, 

причем Ъ <: | ^ (- ) ^ |- - /сЛ/^| , то существует набор ^4+^ 

для которого при всех і , ^ шире > 

I N$.+4. 1 “ 

Пусть <( /\^^у - схема. Каждому хёД сопоставим 

натуральное число, называемое уровнем ос и обозначаемое 
'Ѵі (ос) . Именно, минимальные элементы множества А объ¬ 
явим элементами уровня 0, а уровнем любого не минимального эле¬ 
мента будем считать число, на единицу большее уровня его непо¬ 
средственного предшественника (наибольшего среди всех меньших 
его элементов; таковой существует в силу определения схемы). 
Пусть Х і , ..., Хр - все элементы уровня 0. Нам надо постро¬ 
ить наборы Ж і ,..., * ДОШ которых (А/^ | — М х с) 


и 


[Ж с : ] л (А Мы построим их по очереди, пользуясь отмечен¬ 
ным выше свойством наборов (в нем в качестве Л надо взять 
набор, единственным элементом которого является пустое слово, 
в качестве - уже построенные наборы, /Ѵ^ - 

очередной строимый набор; неравенство Ъ ^ |лГ| | 

т.е. < 1 - 'і(Хі) - 4 .( 00 р) , выполнено, так как 

/ Чос і )+ ѵ ( ч- $ 1 по определению схемы. 

После того как построены все наборы, соответствующие эле¬ 
ментам уровня 0, мы переходил к элементам уровня I. Все эле¬ 
менты уровня I разбиваются на р групп - к с -ой группе от¬ 
носятся те элементы уровня I, непосредственным цредшественни- 



-91- 

ком которых является . Для каждой группы построение соот¬ 
ветствующих наборов будем проводить независимо. Построение 
проводится аналогично уже рассмотреному; в качестве /V бе¬ 
рется один из наборов /14 , АД и используется неравен¬ 
ство 

- элемент уровня I, непосредственным пред-) 
шественником которого явлется элемент 24 р 
следующее из определения схемы (любые две вершины одного уров¬ 
ня несравнимы). Затем строятся наборы, соответствующие элемен¬ 
там уровня 2 и т.д. Таким образом мы завершим построение реа¬ 
лизации данной схемы. Ясно, что описанное построение эффектив¬ 
но - существует алгоритм, дающий по схеме (точнее, по ее но¬ 
меру в естественной нумерации) ее реализацию. Лемма 2 доказана^ 

цготь 5 1 := < А 1; < Ь -г,> И ^ 4 = - да 0 

схемы. Будем говорить, что схема X является ^асшрением 
схемы , если выполнены следующие условия: 

(а) А 1 С А г \ 

(б) порядок, индуцированный из на Д^, совпадает с 

(в) если оі е , то (А) ^ (А) 

Будем говорить также, что реализация ^ схемы і 2 является 
расширением реализации ^ схемы , если ^ есть рас¬ 
ширение и при всех хе Д набор ср 2 (х) шире набора 

ы . 

Леша 3 . Цусть Дг. - реализация схемы , а схема 
является расширением схеш Д . Тогда можно построить реа¬ 
лизацию схемы і>2 » являющуюся расширением {4. Это 
построение можно выполнить эффективно. 

Доказательство . В частично упорядоченном множестве набо¬ 
ров ( Щ < і/ г ^ X шире Мі ) любые два набора и /Г х 
имеют точную верхнюю грань: 




зс (А4,.А4)4=> 
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хф\иЫ 2 и никакое собственное начало 
слова ос. не принадлежит /Ц О Ы 2 
Ее мы будем называть объединением наборов и А4 . Цусть 

и - две схемы, 

расширение - реализация схемы • Построим 

схему 5/ и ее реализацию у/ следующим образом: 


•] - ^ г 


<0 ) - 


, 'Х)’ , где 

Тс А* 

нимы и 




элементы Т попарно несрав 




для всех 




$&) = объединение | ^ € А ± , эс у} 

Очевидно, [і’іМ]- и 1&4 (&)] І ^$ 2 .%} 

Проверим, что /’^/Сос.)/ = ^ (х) . в самом деле, если Т с А ^ , 
элементы Т попарно несравнимы и больше или равны ос , то 
множества /у 


при у ^ Т попарно не пересекаются, 

Г<РіС~>] => [>іф] I т) > Іѵі&>і = 

~ І&СъфІ}*?} ~ т} 

Поэтому |^(х)[ ^ г( (х) . Чтобы доказать обратное нера¬ 

венство, выберем в качестве Т множество всех тех элементов 
^6 , для которых ^ и не существует ^ ^ > для 

которого было бы 2 ^ х и ^ ^ Аі. Тогда 

Е^ЛчІ = и {№(3)] ія ёГ ) 7 Ве/^)]_ Л И'МзЯ -^ 

при » поэтому (?Ах)|= 2_ 1^1 ОД! ^ Ч 1 ( х )“ 

Ясно также, что при набор ^ (V) шире набора у>^(х9 и. 

что при несравнимых х и х 1 множества /УіО)] и [У/О* 5 *)] 


не пересекаются - они есть объединения двух семейств множеств, 
цричем члены первого семейства не пересекаются с членами вто¬ 
рого (иначе ос и х 1 имели бы общую верхнюю грань и были ... 
бы сравнимы). Отсюда легко вывести, что 5 4 является схемой, 
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у' - её реализацией, расширяет 5 1 , а ^ . Ясно,Очто 

X*, является расширением §'<, , так как (если 

То Д 1 , элементы Т попарно несравнимы и 'Зс<1 для всех 

-і&Т) не превосходит 2_ , что не превосходит 

еТ 

так как ^ является схемой* 

Таким образом, заменив и Т? на ^ и » можно цри 
доказательстве леммы 3 ограничиться случаем - А 2 . 


Итак, пусть на одном и том же упорядоченном множестве 
А заданы две функции ^ и Тг. , превращающие его в схемы 
•V и ^ , причем *Сі< ^ 2 . . Пусть ^ - реализация 

схемы ^ . Построим реализацию ^ схемы 5^ , являющуюся 

расширением реализации рі . Построение будет производиться, 
как и при доказательстве леммы 2, по уровням. Пусть для эле¬ 
ментов А уровней 1,2,... ,1 значения ^ уже построены. 
Пусть ^ - все те элементы і + 1-го уровня, 

непосредственным предшественником которых является элемент 


ЭС из і -го уровня. Мы имеем наборы ^ (х) , » 

...» (^л) и <^ 2 (рс) . Построим набор ^ (у±) . Для этого 

обозначим через число -^(^) . Так как Ъ+ІѴіфі) 1 + 

и шире Щ(эс) , который шире всех ^(^і) , то можно 

найти такой набор , что 1^/1 , [М] не пересекается 


с '[& (у іУ] ,..,, [Ѵі С #*)], УіТ») шире А/ . Теперь положим 
Ѵ&фл) объединению наборов Л/ и ^(^і) . После 

этого найдем набор /V 1 , для которого ^(уУ) шире Д, 

I Л/ ‘ I - \($х) - 4 і (^г.) Л^О не пересекается с /у 2 


ІТі фОЗ > ІЩъ )] 3 .. ѵ М 0^.3 и положим равным объ¬ 

единению (^ 2 ) и /V 1 . Аналогичным образом мы определим 
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^ 2 (^) Для всех 4-1,2, . так мы продолжим построение 

реализации ^ еще на один уровень. 

Легко проверить, что описанное построение действительно 
цриводит к реализации, являющейся расширением исходной. 

Лемма 3 доказана. ^ 

Теперь мы можем дать 

Доказательство леммы I . По условию, множество 
{<т, *г> I ч с О. 1 *і < Я ( Гу(к)) } перечислимо 

( У - нумерация множества конечных объектов, входящая в 
определение эффективного -пространства). Цудем представ¬ 
лять себе для наглядности процесс перечисления этого множества 
развертывающимся во времени; кроме того, будем учитывать лишь 
те появляющиеся в ходе перечисления пары <4, п > , где 

X - двоично-рациональное число, "г > о. 

Цусть к некоторому моменту времени обнаружилось, что 
выполняются неравенства 'г 1 Я (Г^ ) ? < Я С ^ 6 ) 
где ос-і ^ . '0с л - некоторые конечные объекты пространства 
X , заданные своими номерами (т.е. соответствующие пары 
появились в ходе перечисления). С течением времени (т.е. в 
ходе перечисления) оценки снизу для Я (Г т .) увеличиваются; 
кроме того, появляются оценки для Я С Г х .) при новых, ранее 
не встречавшихся, . В каждый момент времени рассмотрим 
схему, построенную следующим образом. Цусть . X* - 
появившиеся к этому моменту времени объекты (в порядке их по¬ 
явления). Схема будет состоять из множества А ~ 2, .. і} 


ос- (неравенство 

<7 

в правой части понимается в соответствии со структурой прост¬ 
ранства в X ); функция X задается формулой 


с порядком, заданным формулой с <<=) х • < 



1(а) ~ 6м-р 


I 


{Ич 


* 
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для всех "6 6 I 
(в смысле порядка на А), элементы Т по¬ 
парно несравнимы в смысле того же порядка. 


Докажем, что действительно получается схема. Дустъ 

А » , И попарно не сравнимы. 

Докажем, что 'х(х) ■+ х .. + 7^/„) По определению существуют 

множества Т<і ,..., Т п , для которых 1 /у -) Д > 

-г- -г 

у с - ^ 'с » элементы / 6 - не сравнимы. Элементы различных 
71 также не сравнимы; если ~^еГ* , 
то ^ ^ и ^ * что противоречит несравнимости 

и ^ . Таким образом, взяв в качестве Т объединение 
всех 77 , мы видим, что 21 ^ = ^4^)"^. Чг ' г (^л^) 

пбТ 

Докажем теперь, что г г(а.)<Р.(і~ х \ В самом деле. 


^(<0= 2-^й. < 1>- Т &(Г Х #) і &(Гх л ) 

так как все Гэе^ суть части Г х ^ (ибо х й ^ ) и не пересею 

ются (так как попарно не сравнимы). Из доказанного нера¬ 
венства вытекает, что если ^, ѵ .. ? попарно не срав¬ 
нимы, то ч ѵЧ і- * т>к * каждое слагаемое 

не превосходит меры соответствующего множества, а эти множества 
не пересекаются. 

Итак, в каждый момент времени (=на каждом шагу перечисле¬ 
ния) мы имеем некоторую схему. Обозначим возникающие схемы 
, $ 2 . > •••» * Очевидно, является 

расширением $\ . С помощью лемм 2 и 3 построим вычислимую 

І У 

последовательность <р± у ... реализаций схем 5 Ѵ ... 

в которой является расширением . 

С каждой реализацией свяжем объект ^ & С (О.)() 
Именно, положил 

= наибольшее из тех , для которых Сі является 
продолжением одного из слов набора Т'с ( х р) 
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Наибольшее из таких Хр существует, так как если Сі явля¬ 
ется продолжением одного из слов набора (р) и одного 
из слов набора , то /V/ (рИ п и, по определению 

реализации, р и у сравнимый, значит, ^ или 

Ху 4 Хр . 

Заметим, что множество ■{ со I АМе Гх,.} совпада¬ 
ет с множеством СѴіС%)3 (если &*(со)^Хй, то и) е [^ с * (Р^З 
при некотором 'р , для которого Х^ , поэтому СѴі срЛ с ' 
с и со 6 [^- (у)] ; обратное утверждение очевидно) и 

поэтому мера этого множества равна . 

Очевидно, последовательность является вычислимой 
возрастающей последовательностью конечных объектов С X) 
Рассмотрим ее точную верхнюю грань. Зто - вычислимый объект 
пространства X) ; обозначим его ^ . 

Очевидно, {оо\ Гх^.} ~ ^і(со) 6 Г х ^} 

Справа стоит объединение возрастающей последовательности мно¬ 
жеств, поэтому его мера равна точной верхней грани мер мно¬ 
жеств возрастающей последовательности, т.е. точной верхней 
грани множества ^ТіСу) I і ё /А /} .Мы знаем, что все ч- (<р) 
меньше Д [ Г х^) , поэтому и их точная верхняя грань не пре¬ 
восходит Я(Г^) . С другой стороны, 7,- (у) не меньше имеющей¬ 
ся (в момент времени I ) нижней оценки для Д ( Г Хіі ) . Поэто- 
му точная верхняя грань равна Я (Г^). Итак, 
ул оо (Д (и>) е Г х ^}) = Д (Г^),и, следовательно, для любого 
борелевского множества А выполнено равенство 
уи [А) , т.е. Р^~ Я . Лемма I доказана. ^ 

Вместе с ней доказано и предложение 4.щ 

Покажем теперь, что в предложении 4 условие, требующее, 
чтобы множество конечных объектов пространства X было 
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дѳрѳвом, существенно. Именно, докажем такое 

;—» 

Предложение 5 . В пространстве ^ априорная вероятность 
не является максимальной перечислимой мерой: существует такая 
перечислимая мера Я , что для любой константы С > О 
найдется такое множество Л , что Р « о ѵ А>) с В ІДІ . 

г-ѵ 

Доказательство . Напомним (см. п. 1.2), что через со 
мы обозначаем пространство частичных фун кций из ПѴ в 0,1 
Установим взаимно-однозначное соответствие между ^ и прост- 
ранством бесконечных последовательностей, составленных из 
символов 0,І,Н (Н - первая буква слова ‘'неопределенность"). 
Именно, элементу иё о соответствует последовательность, 

I -ый член которой равен 0, если ЦЦ '<*)~ 0 , равен I, если 
, и равен Н, если и(і) не определено. В простран¬ 
стве {о, I, Непоследовательностей рассмотрим естественную топо¬ 
логию (произведение счетного числа трехэлементных пространств 
с дискретными топологиями). Установленое соответствие не бу¬ 
дет гомеоморфизмом, но будет переводить борелѳвские множества 
в борелевские. Поэтому, вводя искомую меру, мы будем рассмат¬ 
ривать ее как меру на пространстве { 0,1,Н}-последовательнос- 
тей. Последнее мы будем рассматривать как произведение счет¬ 
ного числа девятиэлементных пространств 

'Ц 1 = {ос, сі., ± 0 ; а , он, ІИ , но, Н'і, НИ}, 
отожествляя {0, I, Н}-последовательность с последовательностью 

пар символов, получаемой из исходной группировкой в пары. Итак, 

мы отождествляем О с . Рассматриваемая 

мера Я будет произведением счетного числа мер /і? на 
Каждая мера будет совпадать с одной из трех следующих 
мер (на рисунке те элементы, около которых написано число, 
тлеют такую меру, остальные имеют меру 0): 




Множества 

А =/" 


Р, и ( ? 2 . тех і , для которых “/* ^ и 

, окажутся перечислимыми. Это гарантирует перечне- 

п 


лимость возникающей на пространстве с, мера. В самом деле, 


рассмотрим вместе с мерой /2 меры , получающиеся, если 
перечислимые множества Рд и заменить на их конечные 


подмножества, состоящие из элементов, появившихся при перечис¬ 
лении до момента $ . Для любого конечного элемента ^ ^ 

имеем Кд (Пх) г х) » так как для любого в частично упо- 
г ' К+4 л. 

рядоченном множестве ІЛ-і (естественный порядок которого ука¬ 


зан на рисунке: элемент больше, если он нарисован выше и со¬ 
единен линией) и ^і°(Г (_) <; /С (Г*/ . 

Очевидно также, что /ѵпі Я а = Я ( Рс). так как мера мно- 

г- А — Р ‘ 

жества I х зависит от мер лишь на конечном числе сомножите¬ 
лей и при достаточно большом & имеет место равенство 
йд (Г к) ~ Я (Г х ), Поскольку Кд ІПіс) можно эффективно вы¬ 
числить по А и х , мы получаем,что действительно яв¬ 


ляется перечислимой мерой. 


Покажем теперь, каким образом следует выбирать меры укі 
на множествах Іі с » с произведением которых мы отождествили 

Г"» 

пространство ^ . Процесс выбора этих мер мы будем представ- 
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лять себе для наглядности развивающимся во времени. В нача¬ 
льный момент времени во всех сомножителях выбирается мера 
у^° . Затем в некоторых из них она может быть заменена на 
меру уИ.'' или на меру уЦ . Появившиеся в некоторый мо- 

Л 9 

мента меры уи и уК более не меняются. Поскольку процесс 
эффективен, это гарантирует перечислимость рассмотренных 
выше множеств Р ± и . 

Для описания выбора мер нам понадобятся некоторые при¬ 
готовления. Рассмотрим дерево всех слов в алфавите {і, 2,3,4, §}. 

Выберем и зафиксируем некоторый 
вычислимый способ, сопоставлшэ- 


44 іг и іч і * 



с вершиной р сомножитель 


щий каждой его вершине р неко¬ 
торое натуральное число N ()>) , 
причем разным вершинам - разные. 
В дальнейшем мы будем связывать 
^д/Ср) в произведении 


Сопоставим теперь каждой вершине р конечный объект зеСр) 
пространства Сц . Именно, <ЭС(/Ѵ)=Х ; если - один из 


символов 1,2,3,4,5, то ^(рі) получается из доопределе¬ 

нием в точках ск-2Ы( р) и &-2Ы(\>)+± (т.е. в точках, 
соответствующих сомножителю ^д/(р) при отождествлении О 

с и о * ... ): 

(Ш) если 'Ь - і , то <3е(рі) = (Сі-^о) 1 ) 

(OH) если -9-2. , то 4*)» (аеір), (лі-* О)) 

(И) если і-з , то ^еСр-6) = лир (ге(р), 

(OI) если ± - Ч , то Жір±)~ ( ж (аі-*Оу 

(10) если -і - , ТО (р)., 1, € і-^О)) 


Объект Ж Ср) мы будем называть кандидатом вершины 
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Напомним, что априорная вероятность Р(А^ множества 
А (точнее, задачи ? А^> ) равна по определению 

А ({И в А}) . где / - некоторый вычисли¬ 

мый объект пространства С ( 52 , 3 ) . Рассмотрим вычислимую 
возрастающую последовательность конечных объектов / 0 <^< 
пространства' С.(Я., 3) > для которой -4 ■{-(?; \і е ІУІ } - ^ 

(такая последовательность существует в силу вычислимости ). 
Рассмотрим соответствующую последовательность мер 

Р(А) - у*- ( { 60 1 ) е А}) . Легко проверить, 

г~> 

что если х - конечный объект пространства с. » то 
і \ —» Р- (_Г*.) - вычислимая возрастающая последовательность 
рациональных чисел, предел которой равен Р ( Г х ) . В соответ- 
ветствии с нашей интерпретацией процесса выбора мер как 
происходящего во времени, мы будем называть число Р*. 
такущим значением априорной вероятности множества Г 7 «. в 
момент времени і (=на шаге і ). 

Цроцесс построения происходит по шагам. В конце каждого 
шага каждая вершина {.1,2,3,4,5}-дерева находится в одином 
из трех состояний 0,1,2. Состояние вершины р определяет, 
чему равна (на этом шаге) мера: если состояние равно 
4 , то мера ^Мц(р) совпадает с мерой ул ‘ . Кроме 

того, в конце і -го шага выделено некоторое поддерево в 
[і, 2,3,4,5}- дереве; вершины, в него входящие, мы будем на¬ 
зывать активными (на данном шаге). Состояния вершин в конце 
і -го шага используются при выполнении [•+ 1-го шага. Опи¬ 
сывая іі-1-ш шаг, мы будем называть состояние вершины р 
после I -го шага щ)едыдущим состоянием вершины р , а состо¬ 
яние вершины р после с + _1-го шага - новым состоянием 
вершины р . Напомним также, что значения меры Р* мы будем 
называть текущими значениями априорной вероятности. 



- 10 !~ 

Итак, мы ошсываем, как определяются состояния и активность 
вершин на а + 1--ом шаге. Этот процесс идет снизу вверх, начи¬ 
ная с корня, который мы будем счиатать по определению актив¬ 
ной вершиной. Итак, пусть уже выяснено, является ли вершина 
р активной. Покажем, как выбирается (новое) состояние 
вершины р и какие из следующих за р вершин считаются 
активными (на данном шаге). 

А. Пусть вершина р неактивна. Тогда ее состояние 
остается тем же, каким было на цредыдущем шаге. Все следу¬ 
ющие за ней вершины также объявим неактивными. 

Б. Пусть вершина р активна и является вершиной 
уровня 1г (уровень вершины - длина соответствующего слова 
в алфавите {і, 2,3,4, б}- ). Ее состояние и активность следую¬ 
щих за ней вершин определяется по таким правилам. 

Б.О. Пусть предыдущее состояние вершины р было равно 
0. В этом случае мы должны найти текущее значение априорной 

вероятности множеств Г^ ( и П^ ( и сравнить их со зна- 
/2. ѴѴІ+ 4 - ' Г 

чением (_-- ) . ели хотя бы одно из них не превышает этого 

значения, то состояние вершины р остается равным 0 и актив¬ 
ными будут те из вершин р і и , для которых априорные 

вероятности (точнее, текущие их значения) соответсвующих мно- 

і- г /2. 

жеств ' зе (рО и Х(^ не превышают (^— ) 

Пусть теперь текующие значения априорной вероятности мно- 

Г— і - г О ч'О.+ і 

жѳств I хсуі) и ' превышают р—^ . Найдем текущее 

значение ср априорной вероятности их пересечения 

П*ЧрО ^ Г Х(рг) и °Р авшм ѳго 0 5 С?) 

Если ср < ср о , то новое состояние вершины р будет равно I, 

а из непосредственно следующих за р вершин активной будет 

вершина рЗ 
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Если же ц, > с^ 0 , то новое состояние вершины р 
будет равно 2, а активными будут те из вершин рі ( I =4,5) 
для которых текущее значение априорной вероятности множества 
ГрСьі) не превосходит Ст)» 

.БЛ. Пусть предыдущее состояние вершины р было равно 

1. Тогда ее новое состояние также будет равно I и из непо¬ 
средственно следующих за р вершин активной будет вершина 

Р 3 - 

Б. 2. Пусть предыдущее состояние вершины р было равно 

2. Тогда ее новое состояние также будет равно 2, а активными 
будут те из вершин .р I , для которых л ^ А 4,5} и текущее 

значение априорной вероятности множества Г^ Ср1) не больше 

Итак, определение новых состояний и поддереваГактивных 

вершин закончено. Установим теперь некоторые свойства изло¬ 
женной конструкции. 

Лемма 4 . Если состояние вершины р уровня в конце 
шага і равно 2, то текущее значение априорной веро¬ 

ятности множества Гэе(ро ^ Пясрі) на этом шаге (то есть 

Рс. . ( Г эгс ? <о л Гэгсрй) > не мѳньшѳ $ ' С^Р +± 


Доказательство. Рассуждая по индукции, можно считать, 
что для меньших значений с утверждение леммы уже доказано. 
Если в конце шага і состояние вершины р было равно 2, 
то утверждение леммы следует из предположения индукции и мо¬ 
нотонности Р* С Где) по I Если в конце шага с. состояние 
вершины р было отлично от 2, то оно было равно 0 (т.к. со¬ 
стояние I, раз появившись, сохраняется в дальнейшем, см.Б.І) 
и на шаге і+і~ применялась-правило Б.О. В этом случае ут¬ 
верждение леммы очевидно.,^ 





'/ОЗ- 


Лемма 5 . Если состояние вершины р уровня Ігъ в 
конце шага 1*1 равно I, то текущее значение априорной 
вероятности множества Р'ягс^л) ^ 1 на этом шаге 

С I эеср-о и ) не меньше 


(то есть 




^ зе-Срал) ) іѵі^ сиэшс? ^ ^5^ 

Доказательство ; проводится аналогично доказательству 
цредыдущей леммы. Нужно заметить лишь, что из неравенств 

Рг (_Г* ер ,Л * ! ■ )\ Р: ( ад ? | ■ (§Г 

Р< (Г Жрі) Л Пес,!)) '^Т^ П ° У 4 ® 1011 того ’ 

Р(АиУ)=- Р ГАНР(#Н(Аоб)вытекает неравенство 

?і (ад и ад>) *(?+?-$)■&?■ В 

Лемма 6 . Если в конце шага 6 4-1 вершина р уровня 
^ активна, то текущее значение априорной вероятности 
множества П^с р ) (то есть ) не превосходит 

II У* 


Доказательство проводится индукцией по 'К . При "Н= О 
утверждение очевидно. Пусть для вершин уровня Ѵъ оно уже 
доказано и рі - активная вершина уровня ^іч-1 . Тогда 
предыдущая вершина (т.е. р ) также активна и 
Рі ( Гэ«?(/>)) - по предположению индуіщии. Рас¬ 

смотрим теперь возможные значения состояния вершины р в 
конце предыдущего, і -го, шага. 

Дусть состояние вершины р к концу с -го шага было 
равно 2. Тогда утверждение леммы очевидно следует из постро¬ 
ения (см. Б. 2). 

Пусть состояние вершины р к концу І -го шага было 
равно I. В этом случае "6=3 и надо доказать, что 
Рс ( Гэ 2 С ? гО - Согласно лемме 5, 

Р: (ОеСрО и ГэеСрА)) ^ Т‘ (|)‘ Но множества Г^ С рО и 1 
и не пересекаются и содержатся в множестве Пэгср) » 
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априорная вероятность которого (точнее, ее текущее значение) 
не превосходит ) П по предположению индукции. Поэтому 


■М41 


Рссг^)^! г-НФГ-Ф" 

Цусть теперь состояние вершины к концу і -го шага 
было равно 0. Если текущее значение априорной вероятности од¬ 


ного из множеств и при выполнении і ь 1-го 

о и -е і. 

шага не превосходило (±) , то утверждение леммы очевидно. 

Если это не так, а априорная вероятность их пересечения пре- 

1 / 2. і л 

восходила — ^ у .то новое состояние равно I, т - б , 

р ; С г я( > и (| - | - 


(ср. аналогичное рассуждение при доказательстве лешлы 5). 

Если же априорная вероятность пересечения (точнее, ее текущее 
значение) превосходила -~г ' (^) , то утверждение леммы 

6 очевидно выполнено (см. Б.І). Лемма 6 доказана. 

Лемма 7 . Если в конце с + 4 -го шага вершина 
активна, то одна из непосредственно следующих за ней вершин 
(т.е. одна из вершин рі: при ^е{і,2,3,4,5} ) активна 
в конце і 4- і -го шага. 

Доказательство . Рассмотрим состояние вершины р в конце 
I -го шага. Если оно было равно I, т.о вершина р 3 будет 
активной (см. Б.І). Цусть оно было равно 0. Из возможных при 


этом случаев требует разбора лишь случай, в котором текущие 
значения априорной вероятности множеств и 

9 / о И ' 

превышает — / —) , а текущее значение априорной вероятно- 
сти их пересечения превышает — • . Заметим, что множе¬ 
ства Г^ (р1) П , Г^г(^) , Г Ж/ , 5 ) попарно не пересека¬ 

ются и содержатся в множестве ^ , текущее значение ап¬ 
риорной вероятности которого не превосходит по лемме 

6. Раз текущее значение априорной вероятности пересечения 



юг- 


Цѵ 0 Л Г х( Р г) превосходит 


1 ( Ъ ѵ а 

<Г ^ 5" / » 


< 2 . \‘П 


то сумма текущих 


значений априорной вероятности множеств ^е.(рч) и /эе ср$~) 
не превосходит |' Г|Г , и, значит, одна из вершин ^ 
и рЬ активна. 

Аналогичным образом с использованием лемм 4 и 6 рассмат¬ 
ривается случай, в котором состояние вершины р в конце 
с -го шага было равно 2. Лемма 7 доказана. ^ 

Следствие леммы 7 . В конце каждого шага построения су¬ 
ществуют активные вершины всех уровней.^ 

Лемма 8 . Если вершина р уровня активна в конце 

і -го шага, то мера (определяемая, напомним, состо¬ 

яниями вершин в конце этого шага) множества П#ср) равна 

С 4 л 
( Т ' * 


Доказательство . Напомним, что мера К-і определяется как 
произведение мер на Ѵл, , где каждая из мер /Ц 6 равна 
,М° , 4 или в зависимости от состояния соответству¬ 
ющей вершины (состояние вершины /> определяет меру ). 

Пусть р = р 0 ,.. р т _ ^ . Тогда (р) есть произведение 

множеств , причем все Ѵ.^ , за исключением тех, 

у которых <ь е іМіро), А^'рсрД,. > А^ро...р и _ 2 )}» будут 


совпадать с І4^ 

’ 3 Ѵ Д/Гр<, 

р^) будет совпадать с 

одним 

из множеств 




(ш,оо,ю) 

(если 

Р-і+, = і > 


{ОЙ, СЮ, 01} 

(если 

р-іч-і = ^ 


іи} 

(если 

Р+-н -3 ) 


{01} 

(если 

Р-^г » V ) 


Ій)? 

(если 

' з ) 


Мера на % ро 

зависит от состояния вершины 




-•106 - 


которое (т.к. вершина -р 0 ,..р^ активна) определяется зна¬ 
чением . В самом деле, из построения легко следует, 

что если в конце і -го шага вершина р^- активна, то цри 
сі -1 или сІ~% состояние вершины р равно 0, при 
с( =3 оно равно I, при сі = 4 или сі = 5 оно равно 2. 
Теперь ясно, что имеющаяся в сомножителе 0 р^.) 

мера множества ^ будет равна 1/2. Таким обра¬ 


зе с'р) 


будет равна (1/2) 


Лемма 


зом, мера множества 
8 доказана.^) 

Теперь можно завершить доказательство предложения 5, 
установив, что для любой константы С>0 найдется такое 
множество Д , что 


РЩ< Щр. 

В самом деле, возьмем достаточно большое 


и верши¬ 
ну р уровня 4і , которая на бесконечном числе шагов 
нашего построения является активной (такая существует, так 
как на каждом шаге есть активная вершина уровня І'Ь , а всего 
вершин уровня 41 конечное число). Для шагов і , на кото¬ 
рых она активна, тлеем (при А - Г 2е.(р )) : 

Р; (А) *(§Г . К с (А) = (1р 

и, следовательно, *МА) /я с -(А) < / н . Переходя к пределу 

« , 5 * 

при с—(по тем значениям с , для которых р актив¬ 
на), мы видим, что Р(А") / (КА) ^ 

Так как число УІ может быть выбрано сколь угодно большим, 
РСА) 


отношение 


Я С А) 


может быть сделано сколь угодно малым. 


Доказательство предложения 5 закончено. 
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4.4. Логарифм априорной вероятности и энтропия. 


Априорную вероятность задачи можно рассматривать как харак¬ 
теризацию степени трудности её решения: чем априорная вероятно¬ 
сть меньше, тем задача труднее.^Удобно перейти к двоичным лога¬ 
рифмам, сопоставив каждой задаче^величину 

кри) = - ь>$ х Р(^) 

где Р(Ю - априорная вероятность задачи оС . Теперь можно 
сказать, что чем КРМ больше, тем задача оі труднее. 

В этом пункте мы сравниваем величину /<* Р с другими 
видами энтропии. 

Предложение I . Пусть X - произвольное пространство. 

Существует такая константа С , что для любой монотонной 

задачи ОС в пространстве X справедливо неравенство 

КРСоі) < К я (оО + с. 

Доказательство . Пусть % <г С(5^->Х) - оптимальный способ 
описания (способ, при котором К ^ минимальна). Пусть 
К^>(^) = ( и ) ~ Тогда существует .X е 2^ , для кото¬ 
рого 2(х) - и $(х) - решение задачи оС • Пусть СО 

- произвольная бесконечная последовательность нулей и единиц, 
начина/ющаяся на X . Тогда ^(ю) ^ ц-х) и (в силу монотонно¬ 
сти задачи ) ш является решением задачи ос . Поэтому 
множество { М ^ 2 4 2* I - решение оС} 

содержит Гх и его мера не меньше 2 ^ . Поэтому 

(оО > и Р(°0 ^ 2 п - С , где С - 

положительная константа, зависящая только от пространства X 


множество 


содержит 


р 4 и) > ^ 


- Тѵ 


положительная константа, зависящая только от пространства 


(но не от задачи Ы ). Отсюда КР(Х) ^ И + С / (где 
С 1 - - С' ) и тем самым К Р 6-0 ^ К <р С°0 + с. 
Предложение I доказано. 



~ю%- 

Нас будет интересовать вопрос о том, при каких условиях % 
выпаяняется неравенство, обратное к неравенству предложения 
I (или его аналоги). 

Ограничимся сначала случаем, в котором оС = <х,г*> 
где ос - некоторый конечный объект пространства X . Как 
доказано в [х , теорема'2.З] , при К — 
величины К Р(об) и К ф (об) отличаются на ограниченное сла¬ 

гаемое. Этот факт является специфическим свойством простран¬ 
ства ЛѴ_і_ . Как видно из предложения 2 , дяя пространства 
2, и задач вида П*.') аналогичное утверждение не 
выполняется. В работе П.Гача [17] установлено (значительно 
более сложным образом), что аналогичное утверждение не вы¬ 
полняется и дяя пространства ^ . 

Предложение 2 . Не существует такой константы С > 

Г"1 

что для любого конечного объекта х пространства О выпол¬ 
нено неравенство «2, г х >ц< кр« з, г х » + с. 

Доказательство . Заметим прежде всего, что 

Зс А (У*«?) (крс<а,г х >) $ &*)+с А ) 

В самом деле, рассмотрим способ описания со¬ 

поставляющий с последовательностью Офункцию , 
для которой ~Ь (0)~Х 0 , с. и т.д. Легко видеть, что 
мера множества тех бесконечных последовательностей ^ 6 2 
дяя которых -|(бо) € Гх , равна 2. (цри любом 

конечном ос 4- с ), так как условие Іои Ц фиксирует 
ш членов последовательности ЦО . Поэтому 

Р*(<г,г х » = р«е,г*»*<Ѵ 2' С( 1 

кр«о,Гх>^ еы+Сі. Осталось доказать, что ни при каком 
С не может быть выполнено (для любого ОС ) неравенство 
К а (ЛЗ,ГР)^(*)+С . Но это докааано нами в п. 2.5 
(предложение 3).-Лредяожёние 2 доказано. ^ 
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Покажем теперь, что положение можно исправить, заменив 
пространство 5Е на другое регулярное пространство с объ¬ 
емом. 

Предложение 3 . Существует такое регулярное пространство 
с объемом <п, і> , что для любого пространства X 
существует такая константа С , что для любого конечного 
объекта х пространства X выполнено неравенство 

і кр«х,г х » - к < мд>« х ^ г ^' > ^ис. 

Это предложение показывает, что если интересоваться 
лишь задачами вида <х, г х у , то логарифм априорной веро¬ 
ятности может рассматриваться как один из видов энтропии. 

Доказательство предложения 3. Построим пространство 
М и объем . Конечными объектами пространства 
будут конечные множества двоичных слов, ни одно из которых 
не является началом другого. В п. 4.3 такие множества были 
названы наборами.* (Нагл потребуются также некоторые связанные 
с наборами понятия. Они введены в п. 4.3 при доказательстве 
леммы I.) Введем частичный порядок на наборах, считая, 
что X < у , если набор ос шире набора ^ . (Заметим, 

что введенное так отношение порядка обратно рассматривавше¬ 
муся в п. 4.3.) Чтобькпостроить пространство, конечными объ¬ 
ектами которого будут наборы с введенным таким образом поряд¬ 
ком, нужно, согласно п. 1.3, проверить, что имеется наимень¬ 
ший объект и что любые два совместных объекта тлеют точную 
верхнюю грань. Наименьшим объектом будет набор, единственным 
элементом которого является пустое слово. Пусть теперь объ¬ 
екты X и совместны. Это означает, что имеется набор 
\х/ , для которого эс ^ ѵѵ и ^ , то есть ос 

шире и ^ шире \Х/ .. Покажем, что объекты X и 




ір име- 
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ют точную верхнюю грань. Пусть Эс 

^ • Рассмотрим все пары » для 

которых ЭС- и ^ совместны (т.е. одно из них продолжает 
другое).(Такие пары найдутся, так как любой элемент набора 
\Х/ является продолжением некоторого и некоторого 

^ .) Для всякой такой пары включим в 5 более длинный 

из ее членов. Очевидно, эс < X и у.<2 . Пусть - 

любой набор, для которого X < %' и у ^ . Покажем, 

что 32 ^ 2 7 . Если І - любое слово из 2* , то (по опре¬ 
делению отношения порядка) найдутся е ОС и У;■ 
являющиеся началами ~Ь . Но тогда наибольшее из слов 'Х-і 
и входит в 2 

Итак, согласно п. 1.3, множество всех наборов можно 
считать множеством конечных объектов некоторого пространства. 
Это пространство мы обозначим через М . Осталось ввести 
на М объем. Напомним, что в п. 4.3 каждому набору ЗС 
было сопоставлено число |х| , названное его мерой. Объ¬ 

емом набора X мы будем считать целую часть числа 

- кд а |х| . Очевидно, так определенная функция удов¬ 

летворяет всем требованиям, предъявляемым к объемам. 

Итак, пространство с объемом <М,Й> построено. Надо 
показать, что оно является регулярным. Для этого построил 
отображение 5 6 с( м , м * ім , при котором 

(X ^ * Мх , + С(п) 

где С(п) - некоторая функция, зависящая только от 1г 

Функцию ^ определим так. Пусть бП - произвольный 
набор. Дуцем искать такое 61 ^ /Д/ , что все слова из бИ 
начинаются на 0 1 . Если такого 11 нет, то положим 

^ (ігО — _і . Если такое ■и существует, то оно единст¬ 
венно. Возьмем в качестве пару <(>п / > ѵСу , где 
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Ѵп* - набор, получающийся из набора / М отбрасыванием 
начала 0^1. во всех его члена. На бесконечные объекты 
пространства М функция / продолжается по непрерыв- 
ности, при этом используется лемма 5 из п. 1.4.3.3. Легко 
понять, что ■$ - непрерывное вычислимое отображение и 
для конечных объектов / УѴ 6 М имеет место равенство 
ІЫ'І = \™\ . Отсюда следует написанное 

выше неравенство для *(Ь/ ±9 

Регулярность пространства <м, е> доказана. Покажем 
теперь, что КР(<Х,Г х » = (<Х, Р*>) + 0(1)- 

Пусть 6 С(М,Х) - оптимальный способ описания. 
Определим способ описания Г*С(2, X) , положив 
для конечных ~і ^ & равным Ш-Ф (значению $ на 
наборе, единственным элементом которого является ± ). На 
бесконечные последовательности ^ продолжается по непре- 
рывности (п. 1.4.3.3, лемма 5). Покажем, что 

РрІ<Х, А>) 5. 1 (<Х ’ А>) -1 

для любой монотонной задачи X 0 . В самом деле, 

пусть набор УП - \ ѵ Хд } является описанием реше¬ 
ния задачи с/- (то есть а А ), причем ^ (/т) - 

= . Тогда также принад¬ 
лежат А , так как .,*Й в пространстве 

М , а задача А монотонна. Отсюда следует, что для 
любой бесконечной последовательностицначинающейся на одно 
из слов у * • • $ ^ выполняется соотношение ^ (ы) ^ Д ^ 

и, следовательно, Р^«Х,А» не меньше меры набора 
■Гуь . Поэтому Р^*(<Х;А» ^ 1 ( -і по¬ 

является, так как при определении ^ мы брали целую часть 
от логарифма меры). Из доказанного следует, что 



КГ«х,г х » < К <М|е> «х,г х » + & ( і). 

Докажем теперь обратное неравенство. Цусть 4 & X) 

- оптимальный способ описания (тот, при котором вероятность 

задач наибольшая) . Построим р ^ С (. М ; X) , определив значе¬ 
ние его на конечных объектах пространства М так: для 
любого набора выполнено равенство 

РчТ) - I ^ ■ конечный объект, ^ $ 4( а ^ 

(верхняя грань в правой части определена в силу леммы 3 из 
п. 1.3). Для определения значений р на бесконечных объектах 
мы воспользуемся, как и раньше,леммой 5 из п. 1.4.3.3; необ¬ 
ходимая для этого монотонность Р легко проверяется. Покажем 
теперь, что 

К р « X , г^» - (од л «X , г х » 

(Это завершит доказательство предложения 3.) Пусть 
Д«х,гѵ>) = оі. Другими словами, мера открытого множе¬ 
ства со & 2'2*І равна оі , 

Поэтому можно найти набор Ул = * для которо¬ 
го Ъ X ,..., и мера которого сколь угодно 

близка к оі . Для этого набора ѴЪ имеет место неравенство 
р ('У *) ус и, следовательно, 

к Р «х,г х ѵ)$ еы ч< -ЦгСі^і) 

Так как мера набора ТП может быть сколь угодно близка к 
сі , получаем, что К р (< X , Г х >) - Іо^ х оі - 

- К Р ( <(Х 7 Г х ». Предложение 3 доказано, щ 

Покажем теперь, что ограничение класса рассматриваемых 
в предложении 3 задач задачами вида Одіу> 


существенно. 



Предложение 4 . Не существует такого регулярного прост¬ 
ранства с объемом < М Д) , что для любого пространства X 
существует такая константа С , что для любой монотонной 
задачи об в пространстве X выполнено неравенство 


I К Р I ^ 

Доказательство . Пусть такое пространство <м,е> 
существует. Возьмем в качестве X пространство Д , а 
в качестве - задачу <5, $> , где 4? - множество 

всех (бесконечных) невычислимых последовательностей нулей 
и единиц. Легко видеть, что мера множества & равна . 4. , 
поэтому при тождественном способе описания 4 ё С[Я } Я) 
имеет место равенство Р ^ (д) г 1 . Поэтому К Р (Д) конеч¬ 
на. С другой стороны, . В самом деле, 

пусть ^ 4 С С 1»\ } 5?) - оптимальный способ описания. Легко 
видеть, что ни для какого конечного объекта ос е М значение 
не будет решением задачи Д , так как вычис¬ 

лимый объект пространства .52 (согласно лете 3 из п. 1.5.3, 
результат применения вычислимого объекта к вычислимому - и 
тем более к конечному - вычислим). Предложение 4 доказано.^ 
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4.5. Аксиоматическое описание энтропии . 


В этом пункте мы исследуем возможность задания энтропии 
с помощью перечисления её свойств. 

Пусть Е - произвольная всюду определенная функция 
из Л/ В /А/ . Сформулируем три требования, накладываемых на 
функцию Е . 

(I) По 1Ъ можно эффективно указать номер перечислимого 
множества, состоящего из всех чисел X , для которых 
/Г О) не превосходит IV . 

Эквивалентная формулировка: Е является пределом 
вычислимой убывающей последовательности всюду определенных 
вычислимых функций. (В самом деле, если Е ~ Ест Ер 
и Ёр М ? Ер+і (оЕ) при всех р и ~с , то 

•іх( СО) <5 ъ.} - (У Ер (х) <. п} 

Обратно, если {ос { Е(х) < 'У 1 } шееТ номер Щ(п) , то 
положив 

Е 0 ('Е) - ?ѵйп {/!• I X появляется после ^ шагов перечисле¬ 
ния множества с номером Ц?Е) при некотором 


и 




появляется после выполнения 


Ер (Е) - тію С{В Ѵ (х)} и 

р шагов перечисления множества с номером 
мы получаем убывающую последовательность вычислимых функций, 
сходящуюся к Е .) 

Требование (I) гарантирует, что если значение Е на 
некотором объекте мало, то рано или поздно это обстоятельство 
обнаружится. 

Подсчитаем количество объектов (=чисел) 7С , для 
которых Ь(рс) не превосходит И . Обозначил это число е (/и,). 
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Второе требование состоит в том, что в С'гЪ) отлича¬ 
ется от ке более чем на мультипликативную константу; 

(2) Существуют такие , Сд 7 0 , что для всех 

имеет место неравенство 

С г 2. п 4 е Съ) *• с г - а* 

Переходя к логарифмам, требование (2) можно, очевидно, 
переписать так: 

ЗСѴп I а(іъ)- 

Третье требование, накладываемое на функцию Е , гла¬ 
сит: 

(3) для любой вычислимой функции Р из /А/ в //V най¬ 

дется такая константа С > что при всех выполнено не¬ 
равенство / 

В ($Ю) 6 ЕЫ + С. 


•Оно гарантирует, что при алгоритмическом преобразовании 
объектов значение функции Ь не может неограниченно расти. 

Легко видеть, что взяв в качестве Е простую колмого¬ 
ровскую энтропию, мы удовлетворим всем трем требованиям. Ока¬ 
зывается, что сформулированные требования однозначно определя¬ 
ют функцию Е (с точностью до ограниченного слагаемого). 
Именно, имеет место 

Теорема I . Пусть всюду определенная функция Е : Ікі -*► |М 
удовлетворяет требованиям (I), (2) и (3). Тогда Ь отли¬ 
чается от простой колмогоровской энтропии К не более чем 
на константу: 

ЗС Ѵсс ( ІЕС~) - КМІ <С) 

(Напомним, что через К {ос) мы обозначаем простую кол¬ 
могоровскую энтропию объекта ОС .) 
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Доказательство . Пусть функция ЕЕ удовлетворяет тре¬ 
бованиями (I), (2) и (3). Докажем сначала, что при некотором 
С выполнено неравенство 

К 60 < Е С'уЕ) •+ С. 

(при всех ДЯ ).|при этом не будет использовано то, что функ¬ 
ция удовлетворяет требованию (з )] 

Согласно требованию (2), найдется такое А , что коли- 
чество объектов х с Е(рс)$п не превосходит А' Еі . 
Построим способ описания (т.е. вычислимую частичную функцию 
из М в /Тч! , сопоставляющую описанию описываемый объект, 
см. п. 4.1), отведя для объектов с Е С х ) ^ Ц участок на- 

турального ряда длиной /V Еі и заполняя его по мере по¬ 
явления таких объектов. Более точно, разобьем натуральный ряд 
на участки длиной А , 2А , Ч\,... ^следующие друг за 
другом, и через &) обозначим $-ое по порядку 

число участка длиной . Перечисляя множество всех объ¬ 
ектов X с Е(-х) , будем снабжать эти объекты описа¬ 

ниями, считая > х['Ѵі ) і) описанием С-то (в порядке появ¬ 
ления при перечислении) объекта этого множества. В силу наших 
предположений это возможно (описаний не меньше, чем объектов) 
и получающийся способ описания вычислим в силу требования (I). 
При этом для всякого объекта X , для которого Ь (*-)$ Ті 
найдется описание, не превосходящее А* Л (так как 

А •+-Х+... -ь 2^ ^ (2 "***" ); его объем, очевидно, 

не превосходит -П •+ а /\ і- 1 . Поэтому 

К00 $ БМ +- ©С1). 

Перейдем теперь к доказательству обратного неравенства. 
Согласно (2), число объектов х с не меньше 

2і? Х С при некотором С . Будем составлять для каждого 
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П г- С список объектов эс с (-(эс^^'К , прекращая 

его составление в тот момент, когда число объектов списка срав- 
■ ~"С 

няется с Д . Так как выполнено требование (I), этот 
процесс можно выполнять эффективно и получить вычислимую пос¬ 
ледовательность конечных множеств 

Вс > В с+1> ... 

со следующими свойствами: 

(а) для всякого ос 6 значение Е(х) не превосхо¬ 

дит а ; 

П 4 - С 

(б) число элементов Вй = 2. 

Не ограничивая общности, можно считать, что 

(в) при всех & . 

(В самом деле, если это не так, можно изменить множества 
в 0 , в ± добавив все элементы в и исклю¬ 

чив лишние - с тем, чтобы схоранить (а) и (б).) 

Построим теперь вычислимую функцию % : |Т\І Я\/ , 
которая, суженная на В с + і. , осуществляет взаимно 

однозначное соответствие между этим множеством и множеством 

ІО, I,.'.. , 2 е * -1} : 



Так как функция Н удовлетворяет требованию (3), то выпол¬ 
нено неравенство 

Е (І’І'х-У) < ЕО) + (0[і) 

Таким образом, для X & -{о, } имеем 

Е(х.) ^ с +■ С + &СО- і + Ю( і)< 

Отсюда видно, что 
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Пусть теперь Р : ПчІ^М - оптимальный способ описания. 
Применяя еще раз (3), получаем, что Е (V (Ь)) ^ Е(В)+ (0(0), 
Если х - произвольный объект, а Ь - его описание наи¬ 
меньшего объема, то 

ВСх) ^ ЕШ+ (ОМ ? В + (ОМ = КМ) + (0(0) ? 

что и требовалось доказать. Теорема I доказана. 

Применим теперь теорему I к исследованию энтропий на про¬ 
странстве /АЛ. .возникающих при различных пространствах опи¬ 
саний. Пусть X - произвольное регулярное пространство с 
объемом. Через обозначим К ^ д , • Имеет 

место следующее 

Предложение I . Функция К ^ при любом регулярном X 
удовлетворяет требованиям (I) и (3). 

Доказательство . Выполнение требования 3 очевидно следу¬ 
ет из результатов п. 2.6. Проверим выполнение требования (I). 
Согласно определению, 

К х (іг) = югілг {/?(р)| р<= Х 0 , бг ^ Р(т>)} 
где Р - оптимальный способ описания. (Отметим кстати, 
что неравенство іі ^ Р (рі можно в рассматриваемом нами случае 
пространства "Д заменить на равенство лі =• Кр) .) в 
силу вычислимости Р множество таких бб. и р , для ко¬ 
торых ба < Р(р) , можно перечислить. (Точнее следовало бы 
говорить не о -р , а об их номерах.) Отсюда и вытекает 
требование (I). Предложение I доказано. 

Используя предложение I, можно получить из теоремы I та¬ 
кое 

Следствие . Пусть X - произвольное регулярное прост¬ 
ранство с объемом, причем количество объектов ос 6 (Ы , для 
которых К ѵ (х) ^ бе , отличается от Л Ѣ 

Л 


не более чем 
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адцитивную константу. 

Поэтов, например, префиксная энтропия не удовлетворяет 
требованию (2). Однако она удовлетворяет более слабому тре¬ 
бованию 

(2') 3С< з С- а Ѵп \іор еіѵО- <4 ^ с л 

Напомним, что - число объектов эс , для которых 

Е{рс) < п. К таким видам энтропии применима следующая теорема. 

Теорема 2 . Пусть функция ЕГ обладает свойствами 
(I), (2 '), (3). Тогда существуют такие и С* х , что 

для всех х выполнено неравенство 

I ЕО) - К№\ 6 С/ + с' г 

Доказательство теоремы 2 проходит аналогично доказатель¬ 
ству теоремы I с некоторыми изменениями. Отметим их. В первой 
части доказательства мы должны для объектов о: с Е (х) - 'Ѵь 

отвести участок натурального ряда длиной А • тѵГ * ЭУ при 

С 

подходящих значениях А и В (можно взять 2 , В,-С 2 ) 

и соответствующим образом определить функцию Ъ . При этом 
для всякого объекта х , для которого Е(х) 5- л-ь , 


найдется описание, не превосходящее 

Как легко видеть, сумма не превосходит 

©(О- А • ■п п - 2> к 

и её логарифм не превосходит 

П + В + (9(1) 


что и гарантирует выполнение неравенства 

КС-х} < Ееэс^-ѵ Ю(го^ЕМ) 

Если к (ос) < ЕМ , то интересующее нас неравенство 
К (ъ) < + (9(1оу х 6Ы) очевидно выполнено; если же 

КМ > Е9*0» то К О) б Е О) -4- Е (х)) ^ 
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і В С х ) + к(*У < ЕС х ')+ (РСІо^СЫ). 

Во второй части доказательства число объектов а- с 

_ . - - Я - С - Сі боа ль 

Ь С ос ) < /уі будет не меньше <2 а . Дальнейшие 

построения приводят к последовательности множеств В • (опре¬ 
деленных при всех достаточно больших 6 ), обладающих свой¬ 
ствами (а) и (в) из доказательства теоремы I; свойство (б) 
заменяется на 

(б') Ссѵгсі [ В*) [2 


к-С'С\ Іоу г 4 ^ 


(квадратные скобки обозначают целую часть). Рассуждая дальше, 
мы вместо неравенства Е Ы) $ х + (ОС і) придем к неравен- 
ству ЕО'і к для всех X <г , откуда легко 

получить, ЧТО ЕО) ^ Сса г ОС + Ус ) ■+- 0(і)> 

Далее доказательство теоремы 2 заканчивается аналогично дока¬ 
зательству теоремы I. 

С помощью предложения I из теоремы 2 можно получить 


такое 

Следствие . Пустъ X - произвольное регулярное простран¬ 
ство с объемом, причем логарифм количества объектов эсе N , 
для которых (х) <: д , отличается от 2 і не более чем на 
С л Ь^м + С<і • Тогда В х (х) отличается от простой колмо¬ 
горовской энтропии не более чем на (О [Ісд г С(ъ)) • 
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4.6. Понятие ( ос, , р> )-стохастичности по Колмогорову 
и его свойства . 

В этом пункте мы исследуем свойства введееного А.Н.Колмо¬ 
горовым понятия стохастического конечного объекта. Говоря не¬ 
формально, стохастические объекты - это объекты "общего поло¬ 
жения" простых множеств. Приведем точные определения. 

В качестве конечных объектов мы будем рассматривать на¬ 
туральные числа. Напомним, что через К (ос) обозначается про¬ 
стая колмогоровская энтропия числа ос . Нам потребуется гово¬ 
рить об энтропии конечных множеств натуральных чисел. Для 
этого мы фиксируем какую-либо естественную нумерацию конечных 
множеств (например, описанную в ['/•Л) и под энтропией множе¬ 
ства будем понимать энтропию его номера. Энтропия множества 
А будет обозначаться К (А) . 

Определение (А.Н.Колмогоров). Пусть оі , (3 - натураль¬ 

ные числа. Число х будем называть ( Ы. , р )-стохастичесіШѵі_, 
если существует такое конечное множество А ^ ЯѴ , что 
ѵс е ^ , К (А) ^ 7 К (ос)? / А | ~ р ; 

здесь через (А | обозначено число элементов множества Д . 

Первое неравенство (если об невелико) означает, что 
множество А достаточно просто. Второе (если & невелико) 
означает, что элемент х является элементом "общего положе¬ 
ний в множестве А • Действительно, если бы ^ обладал 
какими-нибудь особенностями, которые свойственны лишь очень 
малой части (2 множества А , то их можно было бы использо¬ 
вать для простого описания х , указав его порядковый номер 

в списке всех элементов Сі , что потребовало было іс^ х [Сі[ 
бит, т.е. много меньше Іо<о х 
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Установим связь понятия ( оі , ^ )-стохастичности с осно¬ 
ваниями математической статистики. Пусть мы проводил некоторый 
вероятностный эксперимент, реузльтатом которого а Ьгіогі 
может быть любое натуральное число. Пусть результатом этого 
эксперимента оказалось число х . Зная х , мы хотим восста¬ 
новить распределение вероятностей Р на множестве ІЫ всех 
натуральных чисел. Разумно требовать, чтобы, во-первых, Р 
тлело простое описание, а, во-вторых, х было бы "типичным" 
исходом опыта с распределением вероятностей Р . (На прак¬ 
тике специфика задачи часто заранее подсказывает возможный 
вид Р и остается выбрать какие-то его параметры; мы, однако, 
считаем, что единственное имеющееся у нас сведение о Р - 
это полученное значение ос, .) 

Уточнил сказанное. В качестве распределений вероятностей 
будем рассматривать всюду определенные функции Р: IV© 
все значения которых неотрицательны, Р(эУ)=0 для всех х , 
кроме конечного числа, и Т. Рб>с) $ ± < (Мы допускаем воз- 

эс 

можность 2 Р(х)<р считая, что наш эксперимент может и не 
дать результата.) Чтобы говорить об энтропии таких функций, 
фиксируем какую-нибудь естественную нумерацию их натуральными 
числами и, говоря об энтропии функции, будем шлетъ в виду 
(простую колмогоровскую) энтропию ее номера..Энтрошпо распре¬ 
деления Р будем обозначать К(Р). Теперь требование просто¬ 
ты распределения Р превращается в требование малости его 
энтропии. Требование "типичности" х для распределения Р 
мы уточнил так: К (х) не должно быть много меньше - Іс^ 2 Р(х). 
Если, например, Р приписывает вероятность Л /зР всем чи¬ 
слам от 0 до ЗР Ѵ - 1 , то "типичными" будут те 


■ ос € 
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^ -( о ; 1 } ... ; р ѵ -1} , для которых энтропия (х) близка к 'И . 

Отметим, что К(х) не может сильно превосходить РО) 
если распределение р достаточно просто, Именно, при любом 
ос справедливо неравенство 

$ -Іо^РСх) + КС?) 4- (гЬу х Н*) + КС?)))- 

В самом деле, пусть І/Я^* <: Р^Ьс) <.1/2^ . Рассмотрим мно¬ 
жество всех "6 , для которых Р(-6) ^1/2,^ В нем не более 

2." элементов, и ос- - один из них. Чтобы задать х , 
достаточно указать это множество и порядковый номер элемента 
х в нем. Для указания множества достаточно указать Р и 
число А ; указание порядкового номера требует не более 
$.4-1 бит. Отсюда и вытекает написанное неравенство. Тре¬ 
бование "типичности" х, гарантирует, что это неравенство бу¬ 
дет близко к равенству (если энтропия Р невелика). 

Определение . Пусть сС , р - натуральные числа. Число 
ос назовем ( , р ) -ішазистохастическш. если существует 

такое распределение Р (из описанного класса), что 
К СЮ 6 <2 > К (рЮ е - РСЮ - р. 

Понятия стохастичности и квазистохастичности оказываются 
весьма близким. Именно, тлеет место 

Теорема I . Существуют такие константы и ^ » что 
для любого числа х ; 

а) если х является ( <2 , р ) -стохастическим, то 
является ( <2, + С и р ) -квазистохастическим; 

б) если х является ( )-квазистохастическим и 

с с е , 2 91 ' 1 ) , то х является («4 + , 

р ч- С ± ) -стохастическим. 

Эта теорема показывает, что стохастичность и квазистоха- 
стичность "совпадают с точностью до ". 
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Доказательство . Утверждение а) доказываетя легко. Пусть 
ос е А , (энтропия А ) ^ іо^ х 1АI - р . Рассмотрим 

распределение Г , приписывающее всем элементам множества 
А одинаковые вероятности, равные 1//АІ , и всем осталь- - 
ным числшл - нулевые вероятности. Очевидно, энтропия Р пре¬ 
восходит энтропию А не более, чем на константу, а |А| — 

- - Р(х)« Отсюда и получаем требуемое. 

Путь более сложено доказывается утверждение б). Пусть чис¬ 
ло х является ( оі , р )-квазистохастическим. Тогда существу¬ 
ет такое распределение Р , энтропия которого не превосходит 
и. , а К М Р( х ) ~ А • Пу сть Д - такое число, что 

^ р (-х) $ 2.”^ . Тогда К С*-) ^ А-А .Из этого нера¬ 
венства и из неравенства КС Х ) $ б(і) вытекает, что 
Д $ уі р + ЮСі) (эта оценка потребуется нагл в дальнейшем). 
Рассмотрим теперь множество А , состоящее из всех ^ е ПѴ , 
для которых Р(^) % 1 Чтобы задать Д , достаточно 
указать Р и указать Д , поэтому энтропия А не превосходит 
оі + С (и + р) . Множество А содержит не более 2.^ +± 
элементов, по этот,у /б(-х) ^ /А|— Ср+і) . Таким образом, 

х является ( оі + , р +1 )-стохастическим. 

Если , то утверждение п. б) доказано. Если же р >4Ъ 

то любое число от 0 до 2 - 1 является ( С , р )-сто- 

хастическим (достаточно в качестве А взять множество всех 
чисел от 0 до - 4 ). Теорема 1 доказана. 

Обратился теперь к вопросу о том, при каких с/ и « 

'П -1 * 

среди чисел от 0 до % существуют не ( и , р ^стохас¬ 

тические. Ответ на этот вопрос дает 

Теорема 2. а) Существует такое С , что при любом 4г и 



любых оі И р , ДЛЯ которых об? іо^'П + С,<^і-р^> г4 ^ 0 ^ 2 П+ Ср 
все числа от 0 до 2^- 1 являются ( об , )-стохастическими, 

б) Существует такое С , что при любом я и любых «б 
и , для которых 2<=і + |3> < А - в я - С , не все 
числа от 0 до ^ - 1 являются ( об , (2 )-стохастическими. 

Доказательство , а) Пусть сначала ^ < я . Разобьем числа 
от 0 до 2Л—1 на '' множеств по 3? элементов в каж¬ 
дом (например, отнеся к і -му множеству числа от %$і до 
2 ^ (1- + А) )• Чтобы задать любое .из этих множеств, нужно 
задать п , р и число от 0 до 2 П ^ , указывающее, каким по 
счету оно является в нашем разбиении. Поэтому энтропия любого 
из множеств разбиения не превосходит ч~ % Ісд х р + (п + 

■+ С ? т.е. ^ /г - р + 4 + С (здесь С - кон¬ 

станта, не зависящая от я, оі. , р .) Если и ч- р > чг ч- 
ч- 4 41 ч- С, то энтропия любого из множеств разбие- 

ния не превосходит об , поэтому все числа от 0 до 2 -1 
будут ( об , (2 )-стохастическими. (Второе неравенство из опре¬ 
деления стохастичности выполнено, т.к. в правой части его сто- 
ит 

тве А множество {0,1,..., дА г - і} , мы убедился, что 
его энтропия не превосходит я ч- С (и, следовательно, не 
превосходит оі ) и все его элементы являются ( об , |9 )-сто¬ 
хастическими. 

б) Пусть об фиксировано. Рассмотрим список Аі э Д г ,... 

... Ах всех конечных множеств, энтропия которых не превосходит 

. - ОІЧ- ± 

об . Очевидно, і 2 . № хотим оценить энтропию се¬ 
мейства А*. Д* . Чтобы задать это семейство, доста¬ 

точно указать (помшло об ) то из описаний множеств /\, А 

■) •' '2 ) 

на обработку которого выбранному способу описания 


2 г - (3 = о.) 


Если же 
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ТО, взяв в качес- 
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требуется больше есѳго шагов. Поэтому энтропия указанного се¬ 
мейства не превосходит ^ + -ь С±. > где - некото¬ 

рая константа, не зависящая от оі . Рассмотрим те из множеств 

\ к . - 1. 

і Да, .. А* » которые тлеют менее ± элемен¬ 

тов. Рассмотрим наименьшее число ос , не содержащееся в их объ¬ 
единении. Это число меньше 2. Лх , так как не превосходит 

+ ^ , а каждое из множеств А ± , А 6 тлеет менее 

элементов. 

Чтобы задать число эс , нужно указать А^..^ А* ? 
и , поэтоі'лу его энтропия не превосходит 
оі + 1 •+ ЛЛоі^'ѴІ -Ч Су 1 

и тем более ^ + ^ (здесь С 1 - константа, не завися¬ 

щая от к и ). Докажем, что если 

(3 < 'Уі — & 4 1 ~ + 4 -) — . 2 ^ 

то построенное нами ^ не является ( оС , (3 )-стохастическим. 

Из этого будет следовать,утверждение теоремы при С = С , + ±. 

В самом деле, если х является ( оС , р )-стохастическим, то 
осб /\ і и К Ы~) ^ ^ а |А.|-^при некотором с . Множество 
должно содержать не менее 1 >х и 1 чисел (иначе сс. не при- 

С 

надлежало бы ему), поэтому АО)п-о 

Но А00^ у + б-Оо^+с', откуда ^ + б&^пч- С 1 >- и-<*>- 1~ /> 

и ~ І- - С 1 • Теорема 2 доказана. 

Утверждение теоремы 2 указывает границу для ©4/я и 
р/)ѵ , при переходе через которую исчезают последние несто¬ 
хастические объекты. Эта граница (для случая ы — р ) находит¬ 
ся где-то между 1/2 и 1/3. 

Следующая теорема отвечает на вопрос о доле ( ^ , (3 )- 
стохастических чисел среди всех чисел от 0 до % Лх - 1 . 
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Теорема 3, Существует такое С , что для всех п- и для 
всех оі и р , для которых , количество чисел от 

О до Л 1г ~1 , не являющихся ( °б, р )-стохастическими, за¬ 


ключено между 


[■ <^К-2оІ- (3 - 6С°^3.^ и с^ п ~ о2-р +. СІо^ г и. 


где [р] обозначает целую часть р . 

Доказательство . Оценил сначала количество нестохастиче¬ 
ских чисел сверху. Как и при доказательстве теоремы 2, разобь¬ 
ем множество чисел от 0 до % П ^ на % ^ частей по ^ 
чисел в каждой. Энтропия каждой части не превосходит р + 
поэтому, выбрав р ~ ©2 - С-Со^п при подходящем С , можно 
добиться, чтобы энтропия лобой части не превосходила об . 

При этом все числа, энтропия которых будет больше щ-р-/2 

будут ( о2 , р )-стохастическими. Поэтому количество нестохасти- 

лИ-р-Р К-о4 -б + Сіоа^п 

ческих чисел не превосходит - х 1 <* 

* 

Верхняя оценка получена. 

Чтобы получить нижнюю оценку, рассмотрим все множества, 
энтропия которых не превосходит сб , а число элементов не пре- 
восходит . Энтропия списка всех таких множеств не 

превосходит <6 + Объединение всех множеств этого 

списка содержит не более половины всех чисел от 0 до $і - ± 
Через (X; обозначил I -ое (в порядке возрастания) число, не 
входящее в это объединение (при і <2." ). В силу сказанного 

Сіі < 3.* при лобогл 6 2-" ” 1 . Энтротя не превосходит 

обч- (ОС^^ѵі) + 0(1с$ 2 сі) ■+ Ссд х I ; ( и , р )-стохастически¬ 
ми среди а- с могут быть лппь те, для которых энтропия превосхо¬ 
дит #-3—с2 — ^ , т.е. об 4- (0((іод % п) б- $ н-2-оі 

и Іо^І ? - (ОіСс^'іъ) . Поэтому тлеется по крайней 

мере [ нестохастических чисел. Теорема 


3 доказана. 
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Она показывает, что ('Ь точностью до ) доля ( , р )- 

стохастических чисел среди всех чисел от 0 до ЗЛ- 4. 
заішочена между '\ ~ і /22* * Р и ± - 4./2 2оі ^ ^ • 

С точки зрения рассмотренной статистической интерпрета¬ 
ции представляет интерес вопрос о том, какова вероятность по¬ 
явления нестохастических чисел в вероятностном эксперименте. 
Более точно, пусть і? - некоторое распределение вероятностей 
на множестве чисел от 0 до Д . Что можно сказать о 1 

> где (3 - множество всех нестохастических чи¬ 
сел (при данных (к и р, )? Естественно желать, чтобы Р(СГ) 
было мало. Если не требовать ничего от Р , то добиться 
этого нельзя: Р , например, может: придавать вероятность 1 
некоторому нестохастическому числу. Однако если Р тлеет 
малую энтропию, то можно получить желаемую оценку. 

Теорема 4 . Существует такое С , что для любого распре¬ 
деления вероятностей Р , энтропия которого не превосходит 
о С , величина , где Сі - множество всех чисел от О 

до , не являющихся (<2 •+ Сіоа п и , /3 )-стохастическими, 

л-б+С&Л П 

не превосходит Л 1 3 . • 

Доказательство . Применяя теорему Ч, можно доказывать ут¬ 
верждение с заменой ( аі + 0 )-стохастичности на 

( , р )-квазистохастичность. А это делается так. Для всех 

ос , не являющихся ( , р ) -квазистохастическими, К(?Л)< 

-&д,РИ-Вили Рбс) < 2 Отсюда 

і? • 2г рм < И 

(■э: - не ( оа , ^ ) -квазистохастическое) о$ъ <22 
правая часть не превосходит п+(0[' 0, т.к. количество тех ос , 
для которых к(Л) = оі , не превосходит ,2^. 
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